时空关联的Transformer骨架行为识别

作     者：卢先领 杨嘉琦 LU Xianling;YANG Jiaqi

作者机构：江南大学“轻工过程先进控制”教育部重点实验室江苏无锡214122 江南大学物联网工程学院江苏无锡214122 

基　　金：国家自然科学基金项目(61773181) 

出 版 物：《信号处理》 (Journal of Signal Processing)

年 卷 期：2024年第40卷第4期

页      码：766-775页

摘      要：目前主流的骨架行为识别方法采取关节流、骨骼流及其对应的运动流作为多流网络分别进行训练,造成训练成本高,另外,在特征提取过程中,忽略了对复杂时空依赖关系的建模,以及在时域上的信息交流采取大尺度卷积,导致聚合大量冗余信息。针对以上问题,提出一种时空关联的Transformer骨架行为识别方法。首先,构建运动融合模块,以关节流和骨骼流作为双流输入,在特征级别将各自的运动信息进行融合,减少单独训练运动流的成本;其次,提出移位Transformer模块,利用时间移位操作混合时空信息的特性,配合Transformer低成本地捕获短期时空依赖关系;然后,设计多尺度时间卷积进行时域长期信息交流;最后,融合双流得分获得最终分类预测。在大规模数据集NTU RGB+D以及NTU RGB+D 120上进行实验,结果表明,该模型在NTU RGB+D数据集的两种评价标准X-Sub和X-View上分别达到了91.5%和96.3%的识别准确率,在NTU RGB+D 120数据集两种评价标准X-Sub和X-Set上分别达到了87.2%和89.3%的识别准确率,本文所提方法的识别准确率相对主流骨架行为识别方法有明显提升,验证了模型的有效性和通用性。

主 题 词：Transformer网络 人体骨架 多尺度卷积 运动信息 动作识别 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.16798/j.issn.1003-0530.2024.04.014

馆 藏 号：203127763...