Grenander时间结构学习与推理优化下的行为识别

作     者：吴克伟 高涛 谢昭 郭文斌 WU Ke-Wei;GAO Tao;XIE Zhao;GUO Wen-Bin

作者机构：大数据知识工程教育部重点实验室(合肥工业大学)安徽合肥230601 情感计算与先进智能机器安徽省重点实验室(合肥工业大学)安徽合肥230601 合肥工业大学计算机与信息学院安徽合肥230601 

基　　金：国家重点研发计划(2017YFB1002203) 国家自然科学基金(61503111) 安徽省自然科学基金(1808085MF168) 中央高校基本科研业务费专项资金(PA2020GDSK0059) 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2022年第33卷第5期

页      码：1865-1879页

摘      要：针对现有基于视频整体时间结构建模的行为识别方法中,存在的时间噪声信息和歧义信息干扰现象,从而引起行为类别识别错误的问题,提出一种新型的Grenander推理优化下时间图模型(temporal graph model with Grenander inference,TGM-GI).首先,构建3D CNN-LSTM模块,其中3D CNN用于行为的动态特征提取,LSTM模块用于该特征的时间依赖关系优化.其次,在深度模块基础上,利用Grenander理论构建了行为识别的时间图模型,并设计了两个模块分别处理慢行为时间冗余和异常行为干扰问题,实现了时间噪声抑制下的时间结构提议.随后,设计融合特征约束和语义约束的Grenander测度,并提出一种时序增量形式的Viterbi算法,修正了行为时间模式中的歧义信息.最后,采用基于动态时间规划的模式匹配方法,完成了基于时间模式的行为识别任务.在UCF101和Olympic Sports两个公认数据集上,与现有多种基于深度学习的行为识别方法进行比较,该方法获得了最好的行为识别正确率.该方法优于基准的3D CNN-LSTM方法,在UCF101数据集上识别精度提高6.41%,在Olympic Sports数据集上识别精度提高5.67%.

主 题 词：行为识别 时间模式 Grenander时间图模型 深度模型 动态时间规划 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.13328/j.cnki.jos.006202

馆 藏 号：203111431...