融合UV位置图与CGAN的单图像大视角三维彩色人脸重建

作     者：沈铖潇 钱丽萍 俞宁宁 Shen Chengxiao;Qian Liping;Yu Ningning

作者机构：浙江工业大学信息工程学院杭州310023 浙江大学信息与电子工程学院杭州310058 

基　　金：国家自然科学基金(62071431,62122069) 国家重点研发计划政府间科技合作专项(2019YFE0111600) 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2022年第34卷第4期

页      码：614-622页

摘      要：基于图像的物体三维重建一直是计算机视觉领域的研究热点.与二维人脸图像相比,三维人脸模型能够承载更多的信息从而具有更广泛的应用前景,如更精准的身份信息识别标志、更准确的情感表达媒介等.为了从单幅大视角的二维人脸图像中重建出具有真实感的三维彩色人脸模型,提出一种结构简单但有效的算法.首先设计一个编码-解码网络,从原始RGB图像生成并记录完整的三维人脸信息的二维UV位置图;然后使用一个卷积神经网络从中重塑出三维人脸;最后考虑人脸大视角时的自遮挡情况,进一步通过条件生成对抗网络补全UV纹理图的缺失.使用Stirling/ESRC 3D Face Database与其他三维人脸重建的算法进行对比实验,结果表明,所提算法能够实现更高的重建精度,特别是在大视角人脸图像重建应用中,即使在复杂环境下也可以获得完整和真实的三维人脸模型.

主 题 词：三维重建 UV位置图 纹理补全 对抗神经网络 大视角 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

核心收录：

D　O　I：10.3724/SP.J.1089.2022.18959

馆 藏 号：203110543...