用于动作识别的双流自适应注意力图卷积网络

作     者：杜启亮 向照夷 田联房 余陆斌 DU Qiliang;XIANG Zhaoyi;TIAN Lianfang;YU Lubin

作者机构：华南理工大学自动化科学与工程学院广东广州510640 华南理工大学中新国际联合研究院广东广州510555 华南理工大学自主系统与网络控制教育部重点实验室广东广州510640 华南理工大学珠海现代产业创新研究院广东珠海519170 

基　　金：广东省海洋经济发展专项(GDNRC018) 广东省重点领域研发计划项目(2019B020214001,2018B010109001) 广州市产业技术重大攻关计划项目(2019-01-01-12-1006-0001) 华南理工大学中央高校基本科研业务费专项资金资助项目(2018KZ05) 华南理工大学研究生教育改革项目(zysk2018005) 

出 版 物：《华南理工大学学报（自然科学版）》 (Journal of South China University of Technology(Natural Science Edition))

年 卷 期：2022年第50卷第12期

页      码：20-29页

摘      要：人体动作识别因在公共安全方面具有重要的作用而在计算机视觉领域备受关注。然而,现有的图卷积网络在融合多尺度节点的邻域特征时,通常采用各阶邻接矩阵直接相加的方法,各项重要性一致,难以聚焦于重要特征,不利于最优节点关系的建立,同时采用对不同模型的预测结果求平均的双流融合方法,忽略了潜在数据的分布差异,融合效果欠佳。为此,文中提出了一种双流自适应注意力图卷积网络,用于对人体动作进行识别。首先,设计了能自适应平衡权重的多阶邻接矩阵,使模型聚焦于更加重要的邻域;然后,设计了多尺度的时空自注意力模块及通道注意力模块,以增强模型的特征提取能力;最后,提出了一种双流融合网络,利用双流预测结果的数据分布来决定融合系数,提高融合效果。该算法在NTU RGB+D的跨主体和跨视角两个子数据集上的识别准确率分别达92.3%和97.5%,在Kinetics-Skeleton数据集上的识别准确率达39.8%,均高于已有算法,表明了文中算法对于人体动作识别的优越性。

主 题 词：动作识别 图卷积网络 邻接矩阵 注意力 双流融合 

学科分类：1305[艺术学-设计学类] 13[艺术学] 08[工学] 081104[081104] 0804[工学-材料学] 081101[081101] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.12141/j.issn.1000-565X.220055

馆 藏 号：203116754...