基于三级神经网络的鲁棒3D手姿估计

作     者：邹序焱 何汉武 吴悦明 Zou Xuyan;He Hanwu;Wu Yueming

作者机构：广东工业大学机电工程学院广州510006 宜宾学院人工智能与大数据学部四川宜宾644000 广东工贸职业技术学院广州510510 

基　　金：国家重点研发专项资助项目(2018YFB1004902) 广东省重点研发资助项目(2017B010110008) 

出 版 物：《计算机应用研究》 (Application Research of Computers)

年 卷 期：2022年第39卷第3期

页      码：925-930页

摘      要：人类在认识事物时往往是从粗到细再到精,受认识过程的启发,根据手的拓扑结构设计了一种新的手势估计网络。该方法首先从手的角度提取全局特征,然后从手指角度提取局部特征,最后从关节点的角度提取点的细化特征,并融合三个不同阶段特征回归出每一关节点的3D空间坐标值,从而改善了回归精度。由于深度图只保存了目标点到相机的深度信息,以深度图作为神经网络的输入不利于卷积核获取其他两个方向的坐标信息;为了能在2D卷积核中直接利用空间坐标的全部信息,利用相机成像原理对深度图进行转换,将深度图转换为3通道的图像,这样提高了神经网络的回归精度。最后在公开数据集NYU和MSARA上进行训练和测试,测试结果表明,提出的网络结构及输入数据的转变都取得了良好的效果。

主 题 词：神经网络 手势估计 RGBD相机 深度图 手的拓扑结构 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

D　O　I：10.19734/j.issn.1001-3695.2021.06.0289

馆 藏 号：203108464...