融合时空域注意力模块的多流卷积人体动作识别

作     者：吴子依 陈泯融 WU Ziyi;CHEN Minrong

作者机构：华南师范大学计算机学院广州510631 

基　　金：国家自然科学基金项目(61872153) 

出 版 物：《华南师范大学学报（自然科学版）》 (Journal of South China Normal University(Natural Science Edition))

年 卷 期：2023年第55卷第3期

页      码：119-128页

摘      要：为了更好地提取并融合人体骨架中的时序特征和空间特征,文章构建了融合时空域注意力模块的多流卷积神经网络(AE-MCN):针对目前大多数方法在建模骨架序列相关性时因忽略了人体运动特性而没有对运动尺度进行适当建模的问题,引入了自适应选取运动尺度模块,从原尺度动作特征中自适应地提取关键时序特征;为了更好地对特征进行时间维度和空间维度上的建模,设计了融合时空域的注意力模块,通过对高维时空特征进行权重分配,进而帮助网络提取更有效的动作信息。最后,在3个常用的人体动作识别数据集(NTU60、JHMDB和UT-Kinect)上进行了对比实验,以验证AE-MCN网络的有效性。实验结果表明:与ST-GCN、SR-TSL等网络相比,AE-MCN网络都取得了更好的识别效果,证明AE-MCN网络可以对动作信息进行有效的提取与建模,从而获得较好的动作识别性能。

主 题 词：动作识别 人体骨架 自适应选取 注意力机制 多流卷积神经网络 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.6054/j.jscnun.2023043

馆 藏 号：203123098...