基于时空关注度LSTM的行为识别

作     者：谢昭 周义 吴克伟 张顺然 XIE Zhao;ZHOU Yi;WU Ke-Wei;ZHANG Shun-Ran

作者机构：合肥工业大学计算机与信息学院合肥230601 

基　　金：国家重点研发计划重点专项(2017YFB1002203) 国家自然科学基金项目(61273237,61503111)资助 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2021年第44卷第2期

页      码：261-274页

摘      要：针对现有基于视频整体序列结构建模的行为识别方法中,存在着大量时空背景混杂信息,而引起的行为表达的判决能力低和行为类别错误判定的问题,提出一种基于双流特征的时空关注度长短时记忆网络模型.首先,本文定义了一种基于双流的时空关注度模块,其中,空间关注度用于抑制空间背景混杂,时间关注度用于抑制低信息量的视频帧.其次,本文为双流模型设计了两种不同的时空关注度模块,分别讨论不带融合形式和双流融合的形式对行为识别的影响.最后,为了适应不同长度视频的处理需求,本文方法采用分段策略构建行为识别框架,通过调整段的数量自适应视频长度.在UCF101和HMDB51两个数据集上进行实验验证,与现有多种基于时间和空间显著性模型的行为识别方法进行比较,实验结果表明,本文方法在识别率上优于现有行为识别方法I3D,在UCF101上提高了0.66%,在HMDB51上提高了0.75%.

主 题 词：行为识别 时空关注度 双流融合 长短期记忆网络 深度特征 

学科分类：0810[工学-土木类] 0808[工学-自动化类] 0839[0839] 081203[081203] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11897/SP.J.1016.2021.00261

馆 藏 号：203102009...