基于弱监督学习的细节三维人脸重建

作     者：申冲 刘川 张满囤 权子洋 师子奇 史京珊 郭竹砚 SHEN Chong;LIU Chuan;ZHANG Mandun;QUAN Ziyang;SHI Ziqi;SHI Jingshan;GUO Zhuyan

作者机构：河北工业大学人工智能与数据科学学院天津300401 河北省数据驱动工业智能工程研究中心天津300401 天津市虚拟现实与可视计算国际联合中心天津300401 

基　　金：河北省自然科学基金资助项目(F2019202054) 

出 版 物：《燕山大学学报》 (Journal of Yanshan University)

年 卷 期：2023年第47卷第2期

页      码：144-151,163页

摘      要：人脸细节特征(如皱纹、沟壑等)在表达情感信息和提高模型真实感上起着重要作用,然而目前大多数细节重建算法忽略了人脸细节的复杂特性,以单一方法提取细节,无法兼顾细节重建质量和鲁棒性。为此,本文提出了一个基于弱监督学习的重建算法,使用基于三维人脸形变模型的粗略模型和UV空间的位移贴图来表示细节人脸。为提升网络的细节提取能力,在细节生成部分将人脸细节分为表情相关细节和表情无关细节,并根据两种细节的不同特性分别设计细节生成网络。为进一步提升重建细节的质量,设计了一组针对细节重建的多层级损失函数。最后在大量无标签的二维图像中以弱监督方式学习,实现基于单张图像的细节三维人脸重建。大量实验结果表明,本文算法在鲁棒性和细节重建质量上均有较好的表现。

主 题 词：三维人脸重建 深度学习 弱监督学习 细节生成 三维形变模型 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1007-791X.2023.02.007

馆 藏 号：203121372...