面向视频动作识别的时空解耦卷积神经网络

作     者：郝伟 吕学强 韩晶 HAO Wei;L Xueqiang;HAN Jing

作者机构：北京信息科技大学机电系统测控北京市重点实验室北京100192 北京信息科技大学网络文化与数字传播北京市重点实验室北京100101 

基　　金：国家自然科学基金资助项目(62171043) 北京市自然科学基金资助项目(4212020) 

出 版 物：《北京信息科技大学学报（自然科学版）》 (Journal of Beijing Information Science and Technology University)

年 卷 期：2023年第38卷第5期

页      码：19-24页

摘      要：基于常规3D卷积的视频动作识别模型提取的时空特征是耦合的,无法有效区分动作类别,限制了其识别准确性。对此以最新的3D卷积视频动作识别网络为基础,设计了一种时空解耦模块,该模块包含时间和空间两个并行分支,分别沿时间方向和空间方向进行特征提取,最后将解耦的时空特征融合后输出。同时,为了降低冗余空间信息的影响,提出一种时间注意力模块,在时空解耦模块前对输入特征的冗余空间信息进行抑制。在HMDB51和UCF101数据集上进行了时空解耦模块和时间注意力模块的验证实验。实验结果表明,两种模块均能有效提高模型的识别准确率。在HMDB51数据集上的对比实验结果表明,时空解耦卷积神经网络模型准确率比基础网络MoViNetA0提高了2.66百分点。

主 题 词：视频动作识别 3D卷积 卷积神经网络 时间注意力 时空解耦 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16508/j.cnki.11-5866/n.2023.05.003

馆 藏 号：203124226...