基于Transformer的三维人体姿态估计及其动作达成度评估

作     者：杨傲雷 周应宏 杨帮华 徐昱琳 Yang Aolei;Zhou Yinghong;Yang Banghua;Xu Yulin

作者机构：上海大学机电工程与自动化学院上海200444 上海市电站自动化技术重点实验室上海200444 

基　　金：国家重点研发计划项目资助(2023YFF1203503) 上海市自然科学基金(22ZR1424200)项目资助 

出 版 物：《仪器仪表学报》 (Chinese Journal of Scientific Instrument)

年 卷 期：2024年第45卷第4期

页      码：136-144页

摘      要：针对人机交互、医疗康复等领域存在的人体姿态分析与评估问题,本文提出了一种基于Transformer的三维人体姿态估计及其动作达成度评估方法。首先,本文定义了人体姿态的关键点及关节角,并在深度位姿估计网络(DPEN)的基础上,提出并构建了一个基于Transformer的三维人体姿态估计模型(TPEM),Transformer的引入能够更好的提取人体姿态的长时序特征;其次,利用TPEM模型对三维人体姿态估计结果,设计了基于加权3D关节角的动态时间规整算法,在时序上对不同人物同一动作的姿态进行姿态关键帧的规整匹配,并据此提出了动作达成度评估方法,用于给出动作的达成度分数;最后,通过在不同数据集上进行实验验证,TPEM在Human3.6 M数据集上实现了平均关节点误差为37.3 mm,而基于加权3D关节角的动态时间规整算法在Fit3D数据集上的平均误差帧数为5.08,展现了本文所提方法在三维人体姿态估计与动作达成度评估方面的可行性和有效性。

主 题 词：三维人体姿态估计 深度学习 动态时间规整 动作评估 

学科分类：081203[081203] 08[工学] 080402[080402] 0804[工学-材料学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.19650/j.cnki.cjsi.J2312272

馆 藏 号：203128791...