基于三维图卷积与注意力增强的行为识别模型

作     者：曹毅 刘晨 盛永健 黄子龙 邓小龙 CAO Yi;LIU Chen;SHENG Yongjian;HUANG Zilong;DENG Xiaolong

作者机构：江南大学机械工程学院无锡214122 江南大学江苏省食品制造装备重点实验室无锡214122 江苏信息职业技术学院无锡214153 

基　　金：国家自然科学基金(51375209) 江苏省“六大人才高峰”计划项目(ZBZZ-012) 江苏省优秀科技创新团队基金(2019SK07) 高等学校学科创新引智计划(B18027) 江南大学研究生科研与实践创新计划项目(JNSJ19_005,JNKY19_048) 

出 版 物：《电子与信息学报》 (Journal of Electronics & Information Technology)

年 卷 期：2021年第43卷第7期

页      码：2071-2078页

摘      要：针对当前行为识别方法无法有效提取非欧式3维骨架序列的时空信息与缺乏针对特定关节关注的问题,该文提出了一种基于3维图卷积与注意力增强的行为识别模型。首先,介绍了3维卷积与图卷积的具体工作原理;其次,基于图卷积中可处理变长邻居节点的图卷积核,引入3维卷积的3维采样空间将2维图卷积核改进为具有3维采样空间的3维图卷积核,提出一种3维图卷积方法。针对3维采样空间内的邻居节点,通过3维图卷积核,实现了对骨架序列中时空信息的有效提取;然后,为增强对于特定关节的关注,聚焦重要的动作信息,设计了一种注意力增强结构;再者,结合3维图卷积方法与注意力增强结构,构建了基于3维图卷积与注意力增强的行为识别模型;最后,基于NTU-RGBD和MSR Action 3D骨架动作数据集开展了骨架行为识别的研究。研究结果进一步验证了基于3维图卷积与注意力增强的行为识别模型针对时空信息的有效提取能力及识别准确率。

主 题 词：行为识别 3维图卷积 注意力增强 时空信息 

学科分类：0711[理学-心理学类] 0808[工学-自动化类] 0809[工学-计算机类] 07[理学] 08[工学] 080401[080401] 080203[080203] 0804[工学-材料学] 080402[080402] 0802[工学-机械学] 

核心收录：

D　O　I：10.11999/JEIT200448

馆 藏 号：203104265...