陕西师范大学学报(自然科学版)

作者：蒋珂, 谭晓阳

单位：南京航空航天大学计算机科学与技术学院,江苏南京210000,模式分析与机器智能工业和信息化部重点实验室南京航空航天大学,江苏南京210000

关键词：人脸替换,3D人脸重建,纹理修复,生成对抗网络,自监督学习

基金：国家自然科学基金(61732006),国家自然科学基金(61976115),南航“人工智能+”项目(NZ2020012),南航“人工智能+”项目(56XZA18009)

针对3D人脸重建方法在贴图时忽视对纹理处理的设计,仅进行仿射变换和插值,其中仿射变换会导致其生成图像的高频分量遭到损坏,尤其是给出嘴部姿态不同的源、目标人像时,会造成人像的嘴部纹理缺失,而插值方法会造成灰度不连续现象;提出一种增强的3D人脸替换方法,称为基于生成-重建的人脸替换(generative reconstructed face swap,GRFS)。GRFS将对抗生成网络应用于对3D人脸替换结果的纹理修复,包括两个子网络:嘴部修复网络(mouth restoration network,MRN)以及局部修复生成网络(generative local restoration network,GLRN)。MRN用于修复人像的嘴部细节,GLRN用于修复3D人脸重建过程中损坏的高频分量,并使得异常的不连续灰度变得光滑。实验结果表明,GRFS可以在给定单对源、目标人像的情况下生成逼真的人脸替换结果,且在不同实验环境下的表现好于主流人脸替换算法。

来源：2023年第5期

《陕西师范大学学报(自然科学版)》期刊编辑部

查看陕西师范大学学报(自然科学版)杂志2023年第5期