面向三维人体坐标及旋转角估计的注意力融合网络

作     者：薛峰 边福利 李书杰 Xue Feng;Bian Fuli;Li Shujie

作者机构：合肥工业大学软件学院合肥230009 合肥工业大学计算机与信息学院合肥230009 

基　　金：国家自然科学基金项目(62272143) 安徽高校协同创新项目(GXXT-2022-054) 安徽省第七届创新创业人才特殊支持计划项目(2021-27) 安徽省重大科技专项项目(202203a05020025) 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2024年第29卷第10期

页      码：3116-3129页

摘      要：目的三维人体姿态估计是计算机视觉的研究热点之一,当前大多数方法直接从视频或二维坐标点回归人体三维关节坐标,忽略了关节旋转角的估计。但是,人体关节旋转角对于一些虚拟现实、计算机动画应用至关重要。为此,本文提出一种能同时估计三维人体坐标及旋转角的注意力融合网络。方法首先应用骨骼长度网络和骨骼方向网络分别从2D人体姿态序列中估计出人体骨骼长度和骨骼方向,并据此计算出初步的三维人体坐标,然后将初步的三维坐标输入关节旋转角估计网络得到关节旋转角,并应用前向运动学(forward kinematics,FK)层计算与关节旋转角对应的三维人体坐标。但由于网络模块的误差累积,与关节旋转角对应的三维人体坐标比初步的三维坐标精度有所降低,但是FK层输出的三维坐标具有更稳定的骨架结构。因此,为了综合这两种三维坐标序列的优势,最后通过注意力融合模块将初步的三维坐标及与关节旋转角对应的三维人体坐标融合为最终的三维关节坐标。这种分步估计的人体姿态估计算法,能够对估计的中间状态加以约束,并且使用注意力融合机制综合了高精度和骨骼稳定性的特点,使得最终结果的精度得到提升。另外,设计了一种专门的根关节处理模块,能够输出更高精度的根关节坐标,从而进一步提升三维人体坐标的精度和平滑性。结果实验在Human3.6M数据集上与对比方法比较平均关节位置误差(mean per joint position error,MPJPE),结果表明,与能够同时计算关节点坐标和旋转角的工作相比,本文方法取得了最好的精度。结论本文提出的方法能够同时从视频中估计人体关节坐标和关节旋转角度,并且得到的人体关节坐标比现有方法具有更高的精度。

主 题 词：人体姿态估计 关节坐标 关节旋转角 注意力融合 分步估计 

学科分类：1305[艺术学-设计学类] 13[艺术学] 081104[081104] 08[工学] 0804[工学-材料学] 081101[081101] 0811[工学-水利类] 

核心收录：

D　O　I：10.11834/jig.230502

馆 藏 号：203150134...