基于多任务学习CNN辅助Transformer的手部mesh重建

作     者：谢苏 张孙杰 王永雄 颜婷丽 Xie Su;Zhang Sunjie;Wang Yongxiong;Yan Tingli

作者机构：上海理工大学光电信息与计算机工程学院上海200093 上海理工大学理学院上海200093 

基　　金：国家自然科学基金资助项目(61673276 61603255) 

出 版 物：《计算机应用研究》 (Application Research of Computers)

年 卷 期：2022年第39卷第12期

页      码：3830-3836页

摘      要：针对当前手势姿态估计算法未充分利用2D信息辅助3D手部mesh重建的问题,首次在手部Mask、2D热力图的基础上提出引入RGB图像的HOG特征图,通过多任务学习CNN的框架对2D信息进行特征提取,并针对手的拓扑结构进行信息融合增强。为了解决Transformer encoder中的隐层embeddings维度一致性以及参数过大问题,设计了一种新的MLP(multi-layer perception)模块嵌入Transformer encoder之间,达到embeddings的数量渐进增加以及其维度渐进减少的目的,从而完成手部mesh精细化的预测。实验结果表明该CNN与Transformer混合的新框架在FreiHAND和RHD数据集均取得了较好效果。

主 题 词：手势姿态估计 手部mesh重建 HOG特征 多任务学习 Transformer 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

D　O　I：10.19734/j.issn.1001-3695.2022.04.0161

馆 藏 号：203115663...