摘要：群体行为识别任务中,行为特征具有复杂的时空特性。为了实现有效的行为特征时间编码,本文提出一种融合时间和空间上下文特征的群体行为识别模型。为了分析个体行为特征的时间上下文依赖关系,设计了通道级时间上下文模块,该模块对个体特征的多个通道进行时间平移;分别研究时间延迟移动、时间双向移动、时间循环双向移动的3种策略,并讨论各种策略下通道比例对时间上下文估计的作用。其次,构建了基于融合通道级时间上下文特征的空间图模型,用于对个体空间上下文的编码。该模型使用外观和位置估计初步的个体之间的空间上下文关系,并进一步设计多图策略,来估计多种可能的个体之间的关系。最后,对图模型编码的个体特征,使用个体池化获得群体特征,并使用多层感知器来识别群体行为。本文方法在Volleyball和Collective Activity数据集上优于现有群体行为识别方法,设计的时间上下文特征具有良好个体行为编码能力。

摘要：因果关系普遍存在于群体交互行为中,体现出主动体行为对被动体行为的有向影响.因果关系检测的难点在于交互双方的行为具有复杂的时间动态性.现有方法使用循环神经网络,来描述交互关系的时间变化特性,并使用时间注意力机制,来描述时间依赖关系.上述方法忽视了对多人依赖关系的分析,难以区分交互双方中的主动行为者和被动行为者.本文设计了一种基于Granger因果关系的时空图推理模型,来学习交互双方的主动和被动关系.为了实现Granger因果关系检测,该模型对单个个体时序特征进行自回归建模,来描述行为对个体自己的依赖.该模型对两个个体时序特征进行相关回归建模,来描述行为对两个个体的依赖.该模型通过比较自回归误差和相关回归误差,当自回归误差明显大于相关回归误差,则说明相关个体改变了另一方个体的行为特征,从而检测出相关个体为主动个体,另一方为被动个体.相关回归模型考虑了多种时间延迟量的两个个体的时序特征序列,用于学习两个个体之间行为的时间延迟量.该时间延迟量用于将主动个体时间特征与被动个体时间特征进行对齐.时间对齐后的主动个体特征提供了被动个体的时间和空间上下文特征,并与被动个体特征进行通道级的融合.为了充分描述个体之间的外观模式,位置约束,因果关系的交互关系,该模型构建多尺度外观的因果图,并使用图推理学习融合上下文的个体特征和群体特征.本文对Granger因果关系检测进行消融分析,并说明时间延迟量,交互融合通道比例,多尺度图推理,能够有效改善个体特征、群体特征的描述能力.本文方法在Volleyball和Collective Activity数据集上优于现有群体行为识别方法.本文的可视化结果说明Granger因果关系可以捕获群体中关键的交互关系.