多特征融合的行为识别模型

作     者：谭等泰 李世超 常文文 李登楼 Tan Dengtai;Li Shichao;Chang Wenwen;Li Denglou

作者机构：甘肃政法大学公安技术学院兰州730070 甘肃政法大学司法鉴定中心兰州730070 兰州交通大学电子与信息工程学院兰州730070 

基　　金：国家自然科学基金项目(61861002) 甘肃省科技厅青年科学基金项目(17JR5RA159,18JR3RA192) 甘肃省教育厅项目(2019B-119) 甘肃政法大学重点项目(GZF2018XZDLW17) 甘肃政法大学司法鉴定中心科研资助项目(jdzxyb2018-06) 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2020年第25卷第12期

页      码：2541-2552页

摘      要：目的视频行为识别和理解是智能监控、人机交互和虚拟现实等诸多应用中的一项基础技术,由于视频时空结构的复杂性,以及视频内容的多样性,当前行为识别仍面临如何高效提取视频的时域表示、如何高效提取视频特征并在时间轴上建模的难点问题。针对这些难点,提出了一种多特征融合的行为识别模型。方法首先,提取视频中高频信息和低频信息,采用本文提出的两帧融合算法和三帧融合算法压缩原始数据,保留原始视频绝大多数信息,增强原始数据集,更好地表达原始行为信息。其次,设计双路特征提取网络,一路将融合数据正向输入网络提取细节特征,另一路将融合数据逆向输入网络提取整体特征,接着将两路特征加权融合,每一路特征提取网络均使用通用视频描述符——3D ConvNets(3D convolutional neural networks)结构。然后,采用BiConvLSTM(bidirectional convolutional long short-term memory network)网络对融合特征进一步提取局部信息并在时间轴上建模,解决视频序列中某些行为间隔相对较长的问题。最后,利用Softmax最大化似然函数分类行为动作。结果为了验证本文算法的有效性,在公开的行为识别数据集UCF101和HMDB51上,采用5折交叉验证的方式进行整体测试与分析,然后针对每类行为动作进行比较统计。结果表明,本文算法在两个验证集上的平均准确率分别为96.47%和80.03%。结论通过与目前主流行为识别模型比较,本文提出的多特征模型获得了最高的识别精度,具有通用、紧凑、简单和高效的特点。

主 题 词：行为识别 双路特征提取网络 3维卷积神经网络 双向卷积长短期记忆网络 加权融合 高频特征 低频特征 

学科分类：1305[艺术学-设计学类] 13[艺术学] 08[工学] 081104[081104] 0804[工学-材料学] 0835[0835] 081101[081101] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11834/jig.190637

馆 藏 号：203101430...