融合多层次视觉信息的人物交互动作识别

作     者：李宝珍 张晋 王宝录 余平 LI Bao-zhen;ZHANG Jin;WANG Bao-lu;YU Ping

作者机构：国家能源集团神东锦界煤矿陕西神木719319 国能网信科技(北京)有限公司北京100011 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2022年第49卷第S2期

页      码：643-650页

摘      要：基于计算机视觉的人体动作识别技术在视频监控、智能驾驶、人机交互、多媒体内容审核等领域均有着广阔的应用前景,其中人体动作中的人物交互是动作识别的核心内容之一。现有的人物交互动作识别模型对人物关系的提取仅仅停留在表层视觉特征之上,并未充分挖掘人体关键区域以及人物之间的深层语义关系。针对此问题,文中提出了层次化的图神经网络模型(HGNN)对人物交互动作建模。HGNN模型从局部到整体显式地对人体关键区域以及人和物构成的场景图进行建模,并利用注意力图池化机制(AttPool)剔除层次图中冗余的信息和噪声,再通过图卷积网络提取图结点之间的深层语义关系,对卷积网络提取的特征进行聚合与优化,从而得到反映人物交互动作本质的特征表示。另外,HGNN模型在中层图进行的临时监督分类也能够约束网络更好地学习到交互动作的人体模式,避免网络对交互对象产生“偏见”。最后,针对HGNN模型,设计了多任务损失函数,用于有效进行模型训练。为了验证HGNN模型的有效性,在公开的大型数据集V-COCO上进行了广泛的实验,结果均显示所提出的HGNN模型对常见的人物交互动作具有广泛的适应性和鲁棒性,精度(mAP)超过了现有的基于图神经网络的模型,同时领先于大部分最新的多流卷积模型。

主 题 词：计算机视觉 人体动作识别 人物交互 深度学习 图神经网络 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 08[工学] 081104[081104] 080203[080203] 0802[工学-机械学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.11896/jsjkx.220700012

馆 藏 号：203115504...