摘要：针对双流卷积神经网络存在的网络结构较浅、时间流及空间流网络均为独立训练学习、并未学习到时空网络之间关联信息等问题,文章设计了基于双流卷积神经网络的人体动作识别改进算法。采用ResNet-34对原网络进行替换,加深网络结构;将时间流、空间流网络提前进行特征图融合,加强时空网络信息融合的充分性。文章还对具体的融合方式和融合位置进行了实验研究,确定了网络最佳融合策略,在UCF-101数据集上的识别率为91.5%,相较于原网络以及其他相关识别方法有更高的识别精度。

摘要：时序行为检测是指在一段未分割的长视频中,检测出其中包含的若干行为片段的起止时间和类别.针对该项任务,提出基于双流卷积神经网络的行为检测模型.首先使用双流卷积神经网络提取视频的特征序列,然后使用TAG(Temporal Actionness Grouping)生成行为提议,为了构建高质量的行为提议,将行为提议送入边界回归网络中修正边界,使之更为贴近真实数据,再将行为提议扩展为含有上下文信息的三段式特征设计,最后使用多层感知机对行为进行识别.实验结果表明,本算法在THUMOS2014数据集和ActivityNet v1.3数据集获得较好的识别率.

摘要：为解决人体行为识别中关节特征不显著、噪声干扰严重等问题,提出一种基于自适应融合权重的人体行为识别方法。为充分利用长时时序信息,需要对长视频进行时域分割,而后设计基于BN-Inception的双流网络结构,分别以RGB图像和骨骼关节点构成的运动特征向量作为空间流和时间流网络的输入,基于熵值法对各片段内单支流网络融合后,根据关节点显著程度赋予各支流以惩罚值,使双流网络自适应调节权重进行融合,输出行为类别。实验结果表明,该方法在人体行为识别中具有可行性和有效性。

摘要：自动调制方式识别技术在通信领域有着不可或缺的作用,针对传统的卷积神经网络在信号分类问题中特征提取能力不足的问题,本文研究了一种利用多维度特征的端到端双流膨胀卷积神经网络来对调制信号进行分类的方法。该方法不仅利用原始采样信号,还利用输入信号的瞬时幅度和相位信息;原始IQ(In-phase and Quadrature,IQ)数据输入进神经网络后,网络首先通过内置的数据预处理模块对输入的IQ信号进行预处理,提取原始信号的幅度和相位信息,再将原始IQ信号和幅度相位两种特征信息分别通过两个并行的卷积神经网络结构分别进行特征提取;本文所设计的双流卷积神经网络模型中的膨胀残差网络分支利用卷积核的膨胀卷积特性,将膨胀卷积与残差网络结构相结合,在网络参数不变的情况下使得卷积核具有更大的感受野,同时也能够更好地结合上下文信息,另一个网络分支是将卷积神经网络与长短期记忆神经网络相串联,然后将两个并行卷积神经网络的输出特征向量进行矩阵相乘达到两种特征信息融合的目的。整个识别过程是基于端到端的,数据预处理模块内嵌到神经网络内部,由神经网络完成对数据的预处理,只需将原始的IQ数据直接送入神经网络即可;仿真实验结果显示相比较于单分支结构的卷积神经网络模型或者循环神经网络模型,本文所提出的基于残差膨胀卷积的双流网络结构在数据集RML2016.10a上识别准确率有了极大地提升,识别准确率最高能够达到85%,同时对于单分支结构无法识别的16QAM和64QAM两种信号,本文模型也具有一定的分类能力。

摘要：为解决基于RGB图像的异常行为识别无法有效利用帧间运动信息的问题,采用深度学习思想,提出一种基于时空融合方法的双流卷积神经网络对异常行为进行识别。使用VGGNet16构建双流模型,以RGB图片和连续光流帧作为网络的输入,有效利用视频流信息。使用UCF101数据集预训练网络模型,将模型迁移学习到CASIA数据集上并微调网络。实验结果表明,与Multi-resolution CNN方法和Two-stream CNN (AlexNet)方法相比,该方法具有更高的准确率。

摘要：针对复杂背景及遮挡等原因引起人群异常行为检测性能低的问题,本文提出了一种基于综合光流特征描述符(SOFD)及轨迹的人群异常行为检测方法。首先,根据人群光流场变化计算人群运动速度、加速度、方向和能量,并利用上述特征设计新的时空特征描述符,即SOFD。其次,利用KLT追踪算法获得人群运动轨迹单帧图。最后,基于所获取的上述特征,设计双流卷积神经网络(TS-CNN)以检测人群异常行为。仿真结果表明:与现有主流算法相比,复杂环境下本文方法具有较高的异常行为检测准确率、较好的泛化性及稳健性。

摘要：视频动作识别是计算机视觉领域一个十分具有挑战性的课题,主要任务是利用深度学习等视频智能分析技术识别的深层信息推导出视频人体行为动作。通过结合双流卷积神经网络和三维卷积神经网络的结构特点,提出了一种面向时空特征融合的GSTIN(GoogLeNet based on spatio-temporal intergration network)。GSTIN中设计了时空特征融合模块InBST(inception blend spatio-temporal feature),提升网络对空间特征与时间特征的利用能力;在时空特征融合模块InBST基础上,构建了适合动作识别的多流网络结构。GSTIN在动作识别数据集UCF101、HMDB51上识别精度分别达到了93.8%和70.6%,这表明GSTIN与其他动作识别网络相比具有较好的识别性能。