摘要：针对视频预测中空间结构信息细节和时序运动依赖关系难以准确预测的问题,受人类视觉过程的启发,提出一种基于差分注意力机制的时空小波分析视频预测算法.首先利用时空小波分析模块对视频内容进行多频分解,增强模型对于高频细节信息以及过程性运动的理解能力;然后利用差分注意力机制指导模型更高效、合理地分配注意力资源,提升对瞬时运动特征的表达能力.在KTH, Cityscapes, BAIR, KITTI, Caltech Pedestrian数据集上的实验结果表明,所提算法在PSNR, SSIM, LPIPS评价指标上取得了比已有算法更优异的效果;同时,可视化的对比也表明所提算法的预测结果更加清晰.

摘要：在视频预测领域,传统的CNN与LSTM都不能充分表征视频中的时空特征。针对这一问题提出空间自适应卷积LSTM算法。受空间变换网络启发,在卷积LSTM内部的“input-to-state”计算过程中将传统卷积操作改为空间自适应卷积:利用额外卷积层获得自适应卷积所需的位置参数,令自适应卷积根据时空信息选择卷积位置,提升模型捕捉时空变换特征的性能;并针对雷达回波预测提出多分支编码预测的网络架构,根据降水类别训练4个不同的支路,以提升网络的预测性能。在合成数据集与真实数据集上的实验结果表明,该模型取得了有竞争力的结果,单独设计一个模块让网络显式地学习某种特征会使网络有更好的性能。

摘要：红外视频与普通彩色视频相比易受周围环境的影响,在红外行人跟踪中行人目标外观轮廓和灰度分布常有较大幅度变化,导致跟踪困难.为解决此问题,本文提出了一种VPSiamRPN(Video Prediction with Siamese Region Proposal Network)红外行人目标跟踪系统.在SiamRPN(Siamese Region Proposal Network)网络的基础上,针对目标形变、目标遮挡和背景杂波等严重影响红外跟踪效果的因素进行研究,设计将PredNet(Deep Predictive Coding Networks for Video Prediction and Unsupervised)网络的图像预测功能结合应用到SiamRPN网络上,以提高跟踪模板与被检测目标的相似度,增强目标跟踪中的模型匹配能力,从而提高对红外行人目标的跟踪能力.通过改变网络层数、预测所用的目标图像及图像帧数、网络的跟踪策略,对网络进行优化,设计了9组对比试验,在PTB-TIR数据集上,与SiamRPN网络客观定量对比,通过跟踪的成功率和重叠率在10种属性上对网络进行评估.实验结果表明:本文网络对红外目标的识别在热交叉、强度变化、遮挡和尺寸变化等多种属性上的跟踪成功率和重叠率均较SiamRPN网络有较大提高,显示出对红外行人跟踪的良好性能,在这一领域将有广阔的应用前景.

摘要：针对传统穿戴式上肢外骨骼人机交互行为预测受到穿戴者身体状况影响的问题,提出一种基于卷积神经网络(CNN)的多时间融合(multiple temporal fusion,MTF)模块。对特征进行一系列的子卷积处理,使每一帧可以完成多个邻域的时间聚合,能够在距离较远的帧上建立长期的时间关系,在推理时提出一种基于非线性最小二乘参数的自适应算法(NRLS-A),对神经网络参数进行实时调整,使在线预测精度提高了28%。该模型基于TensorFlow在GPU上进行并行计算。在自建数据集上的平均准确度达到了84.9%,比传统的LRCN网络模型提高了5%。

摘要：针对视频异常检测中对正常视频预测不准确、学习正常特征的能力欠佳的问题,提出融合小波变换和编解码注意力的异常检测模型。模型中引入多级离散小波变换,设计了一种离散小波变换融合模块,将由视频帧分解得到的多个子带图拼接,传入深度可分离卷积,再与编码器特征融合,以弥补下采样过程中丢失的高频细节信息;构建了一种编解码注意力模块,通过对编码器特征图进行高斯差分操作,然后分别沿水平和垂直方向获取注意力权重,再根据权重聚合编码器特征,最后关联解码器特征,增强网络对正常事件的学习。在Ped1、Ped2、Avenue数据集上的实验表明,所提模型的AUC分别提升了3.2%、3.1%、2.0%,能有效提高检测异常的能力。