摘要：诸如夜间等低光场景下的行为识别对于安防、自动驾驶等领域具有重要意义,针对现有方法在低光环境下识别效果不佳、鲁棒性较差等问题,提出一种基于特征引导的多模态聚合低光环境行为识别方法(MALNFG).首先,设计分层骨架特征融合网络(HSFIE),利用光照增强算法提升低光场景的骨架提取能力,采用层次化时空特征融合策略获取侧重于人体行为本身表达的动作特征,改善低光场景下因骨架缺失造成的精度下降问题;其次,设计高效表观特征提取模块(EAFEM),采用零参数时间位移模块在2D特征提取网络上高效捕捉包含丰富场景信息的时空特征;接着,设计特征引导多模态聚合网络(MNF),利用特征引导策略执行骨架特征与RGB表观特征的深层信息交互,实现行为特征的全面性表征;最后,采用全连接层进行特征分类,完成行为识别.实验结果表明,所提出方法可以较好地适用于低光环境下的人体行为识别任务.

摘要：人体行为识别在视频理解中发挥了重要作用.近年来,基于骨骼的行为识别方法因其对复杂环境的干扰更具鲁棒性而受到广泛关注.文中共整理了102种基于骨骼的人体行为识别方法,并在9个公开数据集上对其进行了对比分析.按照特征学习方式的不同,分别介绍了基于手工特征的方法和基于深度学习的方法.其中,基于手工特征的方法按特征描述符的不同分为几何描述符、动力学描述符、统计描述符3个子类;基于深度学习的方法按网络主体的不同分为循环神经网络、卷积神经网络、图卷积网络、Transformer和混合网络5个子类.通过以上分析,不仅阐述了基于骨骼的行为识别方法的发展历程,还剖析了现有方法存在的泛化能力不强、计算成本高等局限.最后,从网络结构设计、相似动作区分、领域数据集拓展、多人交互等方面对未来研究方向进行了展望.

摘要：群体行为识别旨在识别包含多个个体的群体行为。在现实场景中,群体行为通常可以被视为从群体到子群体再到个人的层次结构。然而,以前的群体行为识别方法主要侧重于对个体之间的关系进行建模,缺乏对子群体之间关系的深度研究。从该角度出发,该文提出一种基于多尺度子群体交互关系(MSIR)的多层次群体行为识别框架。除对个体关系进行建模外,重点关注了子群体之间的多尺度交互特征。具体优化如下:设计子群体划分模块,通过个体外观特征和其空间位置来聚合可能存在关联的个体,再进一步利用语义信息动态地生成不同尺度大小的子群体;设计子群体交互特征提取模块,通过构建不同子群体之间的交互矩阵以及图神经网络的关系推理能力,提取更具判别力的子群体特征。实验结果表明,与现有12种方法在排球数据集和集体活动数据集这两个群体行为识别基准数据集上对比,该文方法都取得最好的性能结果。作为一个易于扩展和优化的群体行为识别框架,该算法在不同数据集上都具有较好的泛化能力。

摘要：雷达程控捷变频行为具有一定的抗窄带瞄准式干扰能力,同时能够实现测量和动目标指示等功能,给干扰引导带来一定的困难。对此,提出随机频率模板的方法,对雷达程控捷变频行为进行建模,并设计了一种双胞循环神经网络识别程控捷变频行为。仿真实验结果表明,双胞循环神经网络能够有效识别雷达程控捷变频行为,并以一定的概率预测未来的频率序列,能够有效地为窄带瞄准式干扰提供引导。仿真结果也表明,所提网络能够有效记忆和识别一组非线性时间序列。

摘要：针对现有目标检测模型在自然天气环境下肉牛行为识别易受复杂背景干扰及模型参数量、计算量、权重文件占用内存较大等问题,该研究提出基于自动化场景区分的轻量化肉牛多行为识别方法。首先,通过FasterNet模型自动区分天气场景。其次,对YOLOv8s网络进行轻量化设计改进,在Backbone端更换FasterNet轻量级模型主干,结合尺度内特征交互AIFI,捕获重要特征信息;利用加权双向特征金字塔BiFPN作为Neck端网络,选择特征提取网络C2f-Faster作为节点,缩减卷积过程中参数量和计算量的同时提高模型精度,使其更适用肉牛行为识别及后期的部署。然后,使用MPDIoU函数,解决肉牛交叉遮挡等局限性问题。最后,设计系统可视化界面,以图像和视频形式输入模型,借助可视化系统完成对肉牛行为识别效果展示。试验结果表明,FABF-YOLOv8s(FasterNet、AIFI、BiFPN、C2f-Faster,FABF)模型在肉牛行为数据集上,相较于YOLOv5s、YOLOv7和原YOLOv8s模型的mAP@0.5分别提升了1.1、4.7、0.4个百分点,参数量和浮点数计算量分别减少59.48%和43.66%,降低到4.51 M和16.0 GFLOPs。引入自然场景因素构建的FasterNet-FABF-YOLOv8s模型mAP@0.5达到了94.6%。研究表明,自动化场景区分下构建轻量化肉牛行为识别系统,可为农户监测肉牛健康状况以及自动化智慧养殖提供技术支持。

摘要：随着我国畜牧业的快速发展,牛只养殖由分散性养殖逐渐向精准化养殖转变。针对分散养殖中农户无法对每头牛只健康状况给予足够关注的问题,通过分析牛只行为模式结合视觉方向特征,设计了综合管理方法来准确识别和跟踪牛只行为。首先,采用改进YOLO v8算法对牛只进行目标监测,其中,在Backbone和Neck端使用C2f-faster结构,增强模型特征提取能力;引入上采样算子CARAFE,拓宽感受视野进行数据特征融合;针对牛只幼仔检测加入BiFormer注意力机制,以识别牛只小面积特征;更换动态目标检测头DyHead,融合尺度、空间和任务感知;然后,使用Focal SIoU函数,解决正负样本分配不均衡和CIoU局限性的问题。最后,将YOLO v8检测到的行为类别信息引入BoTSORT算法中,实现在复杂场景下牛只多目标行为识别跟踪。实验结果表明,提出的FBCD-YOLO v8n(FasterNet、BiFormer、CARAFE、DyHead)模型在牛只行为数据集上,相比较YOLO v5n、YOLO v7tiny和原YOLO v8n模型的mAP@0.5分别提升3.4、3.1、2.4个百分点,尤其牛只回舔行为识别平均精度提高7.4个百分点。跟踪方面,BoTSORT算法的MOTA为96.1%,MOTP为78.6%,IDF1为98.0%,HOTA为78.9%;与ByteTrack、StrongSORT算法比,MOTA和IDF1显著提升,跟踪效果良好。研究表明,在牛舍养殖环境下,本研究构建的多目标牛只行为识别跟踪系统,可有效帮助农户监测牛只行为,为牛只的自动化精准养殖提供技术支持。

摘要：为识别空中交通管制员的睡岗行为,减少管制差错,保障航空器飞行安全,提出了一种基于双流自适应图卷积网络的管制员睡岗行为识别方法。该方法设计双流网络分别处理管制员骨架的一阶信息和二阶信息,实现对骨架数据的充分提取;通过自适应学习的骨骼拓扑连接矩阵,挖掘管制员不同关节之间的功能连接关系;同时在卷积层引入时空通道注意力机制,增强管制员睡岗行为识别模型在时间、空间、通道3个方向提取重要信息的能力。仿真结果表明,该方法能有效识别管制员3种睡岗行为,相较于传统的时空图卷积网络,识别准确率提高了3.08百分点,达到95.03%,可以提高民航运行安全管理水平。

摘要：针对基于图卷积的骨架行为识别方法在建模关节特征时严重依赖手工设计图形拓扑,缺乏建模全局关节间依赖关系的缺点,设计了一种时空卷积Transformer实现对空间和时间关节特征的建模。空间关节特征建模中,提出一种动态分组解耦Transformer,通过将输入骨架序列在通道维度进行分组并为每个组动态生成不同的注意力矩阵,允许建模关节之间的全局空间依赖关系,无需事先知道人体拓扑结构。时间关节特征建模中,通过多尺度时间卷积实现对不同时间尺度行为特征的提取。最后,提出一种时空-通道联合注意力模块,进一步对所提取到的时空特征进行修正。在NTU-RGB+D和NTU-RGB+D 120数据集的跨主体评估标准上达到了92.5%和89.3%的Top1识别准确率,实验结果表明了所提方法的有效性。

摘要：针对视频行为识别过程中面临的特征信息利用不充分、计算量过大的问题,提出一种基于运动捕捉和通道注意力的行为识别模型。模型利用卷积和池化层提高关键特征的利用率,利用空间通道注意力模块在通道维度利用自适应学习参数聚合信息,降低背景冗余信息的影响,引入时空注意力机制融合特征信息获得分类结果。所提模型在公开数据集UCF101、Kinetics-400以及HMDB51上分别获得了94.5%、80.2%和61.9%的精确度,对比其它模型具有更加精准的识别结果以及更少的计算量,验证了模型的有效性。

摘要：针对现有基于人体骨架的行为识别方法存在计算量大、不适合在线应用的问题,提出一种多骨架特征前期融合的在线行为识别算法。该算法通过前期嵌入层融合不同类型的输入特征,并结合最大池化和层次池化操作提取骨架空间的多语义信息。根据日常行为的数据特征设计有效的骨架序列选取方式,并制作NTU-GAST Skeleton数据集,实现在线的行为识别应用。在公开数据集NTU60/120 RGB+D上进行测试,结果表明提出的算法需要更少计算量的同时取得了较高的识别准确率。