基于跨视角一致约束的单视角三维人脸重建

作     者：钟易澄 裴玉茹 李培鑫 Zhong Yicheng;Pei Yuru;Li Peixin

作者机构：北京大学机器感知与智能教育部重点实验室北京100871 

基　　金：国家自然科学基金面上项目(61876008) 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2024年第36卷第4期

页      码：543-551页

摘      要：基于深度神经网络的无监督单视角三维人脸重建已取得显著成功,其依赖光度渲染以及对称正则化从二维单视角图像进行训练,但是单视角图像由于自遮挡与光照影响缺乏可信的人脸几何与纹理约束.因此,提出了一种基于跨视角一致约束的两阶段的单视角三维人脸重建框架.首先,局部网络并行地估计多个视角的局部人脸纹理与UV位置图,利用低维统计人脸模型3DMM对自遮挡造成的缺失区域几何与纹理进行填充;在第2阶段中,补全网络对各视角的局部纹理与UV位置图进行补全并改进,重建具有细节的完整三维人脸几何与纹理.设计了关于光度渲染、人脸纹理、与UV位置图的跨视角一致约束函数,以无监督学习机制从多视角人脸图像数据优化端到端模型.实验结果表明,所提方法可有效地从单视角图像估计人脸姿态,对遮挡区域中人脸几何与纹理合理补全,重建带有几何与纹理细节的高质量三维人脸.特别地,在MICC Florence数据集上,所提方法较对比算法重建人脸的均方根误差降低了6.36%.

主 题 词：三维人脸重建 跨视角一致约束 UV位置图 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

核心收录：

D　O　I：10.3724/SP.J.1089.2024.19772

馆 藏 号：203127538...