基于时空图卷积和注意力模型的航拍暴力行为识别

作     者：邵延华 李文峰 张晓强 楚红雨 饶云波 陈璐 SHAO Yan-hua;LI Wen-feng;ZHANG Xiao-qiang;CHU Hong-yu;RAO Yun-bo;CHEN Lu

作者机构：西南科技大学信息工程学院四川绵阳621000 电子科技大学信息与软件工程学院成都610054 

基　　金：国家自然科学基金(61601382) 四川省教育厅项目(17ZB0454) 西南科技大学博士基金(19zx7123) 西南科技大学龙山人才(18LZX632) 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2022年第49卷第6期

页      码：254-261页

摘      要：公共区域暴力行为频繁发生,视频监控对维护公共安全具有重要意义。相比固定摄像头,无人机具有监控灵活性,然而航拍成像中无人机快速运动以及姿态、高度的变化,使得目标出现运动模糊、尺度变化大的问题,针对该问题,设计了一种融合注意力机制的时空图卷积网络AST-GCN(Attention Spatial-Temporal Graph Convolutional Networks),用于实现航拍视频暴力行为识别。该方法主要分为两步:利用关键帧检测网络完成初定位以及AST-GCN网络通过序列特征完成行为识别确认。首先,针对视频暴力行为定位,设计关键帧级联检测网络,实现基于人体姿态估计的暴力行为关键帧检测,初步判断暴力行为的发生时间。其次,在视频序列中提取关键帧前后的多帧人体骨架信息,对骨架数据进行归一化、筛选和补全,以提高对不同场景及部分关节点缺失的鲁棒性,并根据提取的骨架信息构建骨架时序-空间信息表达矩阵。最后,时空图卷积对多帧人体骨架信息进行分析识别,融合注意力模块,提升特征表达能力,完成暴力行为识别。在自建航拍暴力行为数据集上进行验证,实验结果表明,融合注意力机制的时空图卷积AST-GCN能实现航拍场景暴力行为识别,识别准确率达86.6%。提出的航拍暴力行为识别方法对于航拍视频监控和行为理解等应用具有重要的工程价值和科学意义。

主 题 词：暴力行为识别 人体姿态估计 航拍 时空图卷积 级联网络 注意力机制 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.11896/jsjkx.210400272

馆 藏 号：203111866...