摘要：零样本动作识别旨在从已知类别的动作样本数据中学习知识,并将其迁移到未知的动作类别上,从而实现对未知动作样本的识别和分类.现有的零样本动作识别模型依赖有限的训练数据,可学习到的先验知识有限,难以将视觉特征准确地映射到语义标签上,是限制零样本学习性能提升的关键因素.针对上述问题,本文提出了一种引入外部知识数据库和CLIP模型的零样本学习框架,利用多模态CLIP模型通过自监督对比学习方式积累的知识,来扩充零样本动作识别模型的先验知识.同时,设计了时序编码器,以弥补CLIP模型时序建模能力的欠缺.为了使模型学习到更丰富的语义特征,缩小视觉特征和语义标签之间的语义鸿沟,本文扩展了已知动作类别的语义标签,用更为详细的描述语句代替简单的文本标签,丰富了文本表示的语义信息;在此基础上,在模型外部构建了一个知识数据库,在不增加模型参数规模的条件下为模型提供额外的辅助信息,强化视觉特征与文本特征表示之间的关联关系.最后,本文遵循零样本学习规范,对模型进行微调,使其适应零样本动作识别任务,提高了模型的泛化能力.所提方法在HMDB51和UCF101两个主流数据集上进行了广泛实验,实验数据表明,该方法的识别性能相比目前的先进方法在上述两个数据集上分别提升了3.8%和2.3%,充分体现了所提方法的有效性.

摘要：现阶段,深度学习已在基于WiFi的人体动作识别领域得到广泛应用且取得显著成果。然而,在利用多输入、多输出(MIMO)系统强大的空间分集特性进行动作识别时,受多径效应影响,获得信道状态信息(CSI)存在对相同动作的特征描述存在差异、不同动作的特征描述存在类似、特征提取不完整和动作分类复杂的问题。为解决上述问题,本文提出一种基于双重注意力机制和多通道、多尺度的时间卷积网络的动作识别方法。首先,根据MIMO系统的空间分集特性,构建多通道信息提取模型,从各个天线接收到的信道中提取出有关动作的特性信息。然后,设计多尺度的统合机制,强化同一动作在不同通道接收数据的表征,通过整合不同尺度的动作特征,增强对动作的表征能力。再次,采用特征图融合注意力机制和特征通道注意力机制对各通道的动作特征进行聚合。注意力机制能有效地找出对最终动作识别有重要贡献的特征,使模型可以更好地进行特征聚焦。与此同时,将时间卷积网络应用于特征处理过程,使不同时间步的动作特征间的长期依赖关系得以维持,增加对复杂和连续动作的识别能力。最终,利用全局平均池化层(GAP)将各通道的特征图与动作分类器进行连接,以便多通道的动作特性能有效聚合在一起,进一步提高动作识别的精度。本文提出的模型在公共数据集7种动作测试中,实现98.72%的平均准确率。同时在自行搭建的实验室、教室和走廊等真实环境下进行测试时,10种不同的动作分别获得97.94%、97.28%和95.66%的识别准确率。实验结果充分证明了本文所提出的基于WiFi的人体动作识别模型在不同环境的有效性和优越性。

摘要：针对不同场景下动作时空分布不同导致视频对齐困难,进而影响视频识别准确度问题,提出对双流特征进行运动建模和循环一致性对齐的小样本动作识别方法,能够在全局帧和局部块双尺度特征建模和对齐高维运动表示。首先基于双流特征设计了运动建模框架,重塑视频序列中动作表示的时空联系,实现对视频动作的准确定位和语义性捕获;然后,为帮助模型学习动作间时空对应关系,引入循环一致性对齐机制,利用软最近邻查询的方法,高效对齐视频动作,显著改善了视频动作的错位问题;最后,结合基于注意力机制的时域交叉匹配模块,对动作类别进行推理分类。实验结果表明,该算法在SSv2、HMDB51、UCF101上分别达到68.6%、77.7%和96.9%的识别精度,实现了对视频动作的有效识别。

摘要：以时空兴趣点特征和支持向量机(SVM)分类器识别方法为基本算法,在广泛使用的公开动作数据集KTH上,从不同角度考察评估策略对动作识别算法性能的影响。实验表明,当采用不同的交叉实验方法时,算法性能的波动最大达到10.5%,而不同数据集划分方法对算法性能的影响则达到11.87%。因此,通过量化分析得出的结论,可以充分地比较现有算法的真实差异,并为设计合理的评估策略提供参考。

摘要：开集动作识别任务要求模型不仅能准确识别训练集中的类别,还能拒绝训练集上未出现的未知类动作.目前,大多数方法都将动作视为一个整体,忽略动作本身可被分解为更细粒度的动作单元.为此,文中提出时序动作单元感知的开集动作识别方法.首先,设计动作单元关系模块,学习细粒度的动作单元特征,得到动作和动作单元的关系模式,并通过已知类动作和未知类动作在动作单元上不同的激活程度识别未知类动作.然后,设计动作单元时序模块,建模动作单元的时序信息,研究动作单元的时序性,进一步区分因为外观相似而被混淆的已知类动作和未知类动作.最后,综合考虑关系模式与动作单元时序信息,使模型具备区分已知类动作和未知类动作的能力.在3个动作识别数据集上的实验表明,文中方法性能较优.

摘要：针对3D人体骨架序列动作识别这一问题,提出了一种结合了局部特征融合的时间卷积网络方法.首先,对一个动作中整个骨架序列的所有关节点的空间位置变化进行建模,提取其骨架序列的全局空间特征;然后,根据人体关节点及连接关系的拓扑结构将全局空间特征划分为人体局部空间特征,并将得到的局部空间特征分别作为对应TCN的输入,进而学习各关节内部的特征关系;最后,对输出的各部分特征向量进行融合,学习各部分关节之间的协作关系,从而完成对动作的识别.运用该方法在当前最具挑战性的数据集NTU-RGB+D进行了分类识别实验,结果表明,与已有的基于CNN,LSTM以及TCN的方法相比,其在对象交叉(cross-subject)和视图交叉(cross-view)的分类准确率上分别提高到了79.5%和84.6%.

摘要：肢体动作分析与识别是实现体感交互的重要前提.为提高用户自然动作识别的效率与通用性,提出姿势序列有限状态机方法.首先,以用户为中心建立肢体节点坐标系,将描述用户动作的肢体节点数据从设备空间变换到用户空间,并建立三维网格划分模型,以尽可能消除用户个体差异;其次,在肢体节点坐标系定义肢体节点特征向量,借助关节点空间运动矢量、关节点运动时间间隔、关节点空间距离描述肢体动作特征,对预定义肢体动作序列进行采样分析;最后,采用关节运动正则表达式表示肢体动作轨迹,构造姿势序列有限状态机,实现对预定义动作的在线识别.针对17种预定义动作的实验结果表明,文中方法识别率高,具有良好的扩展性和通用性,能够满足体感交互应用需求.

摘要：人体动作识别因其难以结合时空域信息成为计算机视觉方向中一项具有挑战性的任务.提出一个多注意力时空图卷积网络,其核心思想是根据时间序列信息和人体骨架的自然连接构建一个连通图,然后利用具有多注意力机制的时空图卷积网络自动地学习空间和时间特征并且优化该连通图,最后实现对人体动作的预测.引入图注意力模块,模型构建的图的拓扑结构在初始化后会随着网络训练的过程进行优化,最终得到更适合表达人体动作的拓扑结构.此外,加入通道注意力模块,使网络能够更加注意相对重要的通道信息,从而提取更有效描述动作的特征.在公认的大型数据集NTU-RGBD和Kinetics上进行了大量的实验,结果表明该方法具有更高的识别准确率.

摘要：人体动作识别因在公共安全方面具有重要的作用而在计算机视觉领域备受关注。然而,现有的图卷积网络在融合多尺度节点的邻域特征时,通常采用各阶邻接矩阵直接相加的方法,各项重要性一致,难以聚焦于重要特征,不利于最优节点关系的建立,同时采用对不同模型的预测结果求平均的双流融合方法,忽略了潜在数据的分布差异,融合效果欠佳。为此,文中提出了一种双流自适应注意力图卷积网络,用于对人体动作进行识别。首先,设计了能自适应平衡权重的多阶邻接矩阵,使模型聚焦于更加重要的邻域;然后,设计了多尺度的时空自注意力模块及通道注意力模块,以增强模型的特征提取能力;最后,提出了一种双流融合网络,利用双流预测结果的数据分布来决定融合系数,提高融合效果。该算法在NTU RGB+D的跨主体和跨视角两个子数据集上的识别准确率分别达92.3%和97.5%,在Kinetics-Skeleton数据集上的识别准确率达39.8%,均高于已有算法,表明了文中算法对于人体动作识别的优越性。

摘要：鉴于现有的人体动作识别研究工作主要是基于骨架和视频表示的,提出三角形网格序列表示的人体动作分类方法.首先,选用三角形网格序列中的首帧模型作为模板,利用形状差异算子计算序列的后续帧相对于模板模型的差异,并表示为形状差异信息张量;然后,将形状差异信息张量输入由二维卷积网络与长短期记忆网络组合而成的深度网络中,提取时序动作特征,实现人体动作分类.实验结果表明,该方法在人体动作数据集AMASS上的分类准确率达到了100.00%.