多尺度输入3D卷积融合双流模型的行为识别方法

作     者：宋立飞 翁理国 汪凌峰 夏旻 Song Lifei;Weng Liguo;Wang Lingfeng;Xia Min

作者机构：南京信息工程大学信息与控制学院南京210044 中国科学院自动化研究所模式识别国家重点实验室北京100190 

基　　金：国家自然科学基金(61503192 61773377) 江苏省自然科学基金(BK20161533) 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2018年第30卷第11期

页      码：2074-2083页

摘      要：基于视频的行为识别技术在计算机视觉领域有广泛的应用.针对当前存在的网络模型不能有效结合视频数据中的时空信息,并且缺乏对不同尺度数据之间的融合信息进行考虑等问题,提出一种结合双流网络以及3D卷积神经网络的多尺度输入3D卷积融合双流模型.首先利用2D残差网以及多尺度输入3D卷积融合网络获取视频中的时空维度信息;然后将2层网络得到的实验结果进行决策相加,有效地提升网络对视频中时空特征提取的能力;最后通过在多尺度输入3D卷积融合网络对不同尺度的数据进行不同策略的融合,提高了网络对不同尺度数据的泛化能力.实验结果表明,文中模型在数据集UCF-101以及HMDB-51的识别准确率分别为90.5%与66.3%;相比于其他方法,该模型能取得更高的识别精度,体现出文中方法的优越性与鲁棒性.

主 题 词：行为识别 3D卷积 深度学习 多尺度输入 信息融合 

学科分类：08[工学] 080203[080203] 0835[0835] 0802[工学-机械学] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3724/SP.J.1089.2018.17068

馆 藏 号：203393283...