摘要：目的相比于静态人脸表情图像识别,视频序列中的各帧人脸表情强度差异较大,并且含有中性表情的帧数较多,然而现有模型无法为视频序列中每帧图像分配合适的权重。为了充分利用视频序列中的时空维度信息和不同帧图像对视频表情识别的作用力差异特点,本文提出一种基于Transformer的视频序列表情识别方法。方法首先,将一个视频序列分成含有固定帧数的短视频片段,并采用深度残差网络对视频片段中的每帧图像学习出高层次的人脸表情特征,从而生成一个固定维度的视频片段空间特征。然后,通过设计合适的长短时记忆网络(long short-term memory network,LSTM)和Transformer模型分别从该视频片段空间特征序列中进一步学习出高层次的时间维度特征和注意力特征,并进行级联输入到全连接层,从而输出该视频片段的表情分类分数值。最后,将一个视频所有片段的表情分类分数值进行最大池化,实现该视频的最终表情分类任务。结果在公开的BAUM-1s(Bahcesehir University multimodal)和RML(Ryerson Multimedia Lab)视频情感数据集上的试验结果表明,该方法分别取得了60.72%和75.44%的正确识别率,优于其他对比方法的性能。结论该方法采用端到端的学习方式,能够有效提升视频序列表情识别性能。

摘要：针对局部二元模式在概念上是无方向性的,不能充分捕捉详细信息的问题,提出局部方向角模式(LOP)方法.该方法通过比较2个近邻点上2个方向角的差值来标注图像中的像素点,对邻域内方向角差值的变化进行编码;将LOP扩展到三维空间,提出时空局部方向角模式(SLOP),将从3个正交平面上提取到的特征串接成一个向量;最后采用多尺度SLOP直方图作为人脸表征,并将其投影到保局映射空间以获取低维特征.在Cohn-Kanade与MMI人脸表情数据库上的实验结果表明,文中方法在识别准确率和识别速度方面都优于已有方法.

摘要：长短期记忆网络(LSTM)广泛应用于视频序列的人脸表情识别,针对单层LSTM表达能力有限,在解决复杂问题时其泛化能力易受制约的不足,提出一种层级注意力模型:使用堆叠LSTM学习时间序列数据的分层表示,利用自注意力机制构建差异化的层级关系,并通过构造惩罚项,进一步结合损失函数优化网络结构,提升网络性能.在CK+和MMI数据集上的实验结果表明,由于构建了良好的层次级别特征,时间序列上的每一步都从更感兴趣的特征层级上挑选信息,相较于普通的单层LSTM,层级注意力模型能够更加有效地表达视频序列的情感信息.

摘要：针对复杂背景下的目标车型识别问题,提出一种基于视频序列的检测识别算法。运用帧差序列图像进行背景建模与更新,采用背景差分和LBP纹理分析法进行运动车辆的分割及阴影消除,提出车辆形状投影量的概念,将视频车辆二维形状信息降至一维,并设计二维输入模糊分类器,根据形状投影量和车高/车长比,完成车型的多种类精细识别。实验结果验证了该算法的有效性。

摘要：高色彩饱和度视频中存在大量相似运动轨迹矢量帧,实际合成仿真优化时,形成大量的冗余帧数据,导致最终仿真优化的时间增加,针对该问题,设计一种高色彩饱和度视频序列过渡帧合成仿真优化方法。定义视频内的起始关键帧,获取高色彩饱和度视频序列过渡帧,综合过渡帧集合的大小,设定一个灵活尺寸的仿真窗口,使用全搜索运动估计对过渡帧中所有的点进行搜索,消除仿真形成的冗余过渡帧数据,在仿真参数内设定一个固定的范数,将其参数作为仿真优化参数,最终完成仿真优化方法的设计。选取一定时长的高色彩饱和度视频后,设定过渡帧的采集方式后,利用不同方法进行实验,结果表明,文中设计的仿真优化方法实际仿真优化所需的时间最短。

摘要：在凸集优化基础上,充分利用最大后验概率和凸集投影技术,提出了一种高效强鲁棒性视频序列分辨率提升算法。首先,在空域设计一个简单的预处理共轭梯度估计器,预测原始高分辨率图像;然后,在小波域分别创建帧间和帧内两个不同的凸集,并实施不同的投影运算,提取出隐含在相邻低分辨率图像中的细节信息;最后,利用空域估计器中相邻因子间的关系约束凸集投影解的可行域,保证快速获得图像重建的唯一最优解。仿真实验和实际交通监测系统应用结果均表明,该方法较其他方法不仅可获得更高的峰值信噪比和更好的可视化效果,而且收敛更快,鲁棒性更强。

摘要：在研究静态汽车牌照定位算法的基础上,利用时间序列多帧图像信息量大的优势弥补以往单幅图像牌照定位的不足,研究了视频序列下的汽车牌照定位方法。针对静态图像的牌照定位问题,提出了一种新的基于字符边缘特征和神经网络的汽车牌照定位算法。将上述定位算法应用到视频单帧图像中的牌照定位,并依此为基础,在动态视频序列中,对连续抽取的帧图像进行定位检测,各得到若干候选牌照区,比较相邻帧之间对应候选区的匹配程度,以得到真正的牌照位置。实验结果表明,该方法的定位精度高,实用性强。

摘要：针对传统二维视频序列深度信息生成算法效率低下和不易于硬件实现的缺点,提出一种基于运动矢量获取深度图的改进型算法。通过对每帧图像的运动矢量进行尺度变换、优化重构、累加计算,完成对深度信息的提取。实验表明该算法有效降低深度信息提取过程中的计算量,执行效率较传统深度图提取算法提高了4倍左右,具有很高的硬件实现价值。

摘要：目前许多矿山对于矿卡司机的不安全行为监督仍依赖于人为监管,无法及时准确地发现问题,利用计算机技术识别不安全行为是替代人工检测的一条高效途径。本文利用深度学习来解决视频序列的矿卡司机不安全行为识别,深度学习方法不依赖人工设计特征,而是自适应地学习更好的高维特征,具有稳健性更好、速度更快及准确率更高的优点。首先,对帧图像采用翻转、旋转和添加噪点等方法进行数据增强,以降低样本的不均衡性;其次,利用本文优化的模型训练数据。结果表明:网络测试准确率达到93.445%,相比原始双流网络模型提高了15%。将本文模型与不考虑时序动态信息的深度学习模型进行试验比较,证明了时域特征信息对于行为识别的重要性。综上,本文提出的网络模型对于矿卡司机不安全行为的识别率较高,对矿卡司机不安全行为的识别及采矿生产作业安全具有重要实践意义。

摘要：在基于视频的人体运动捕获中 ,常用的特征跟踪算法对光照条件、图像噪音等非常敏感 ,而且不规则运动常使特征点或重叠、或自遮挡、或从视域中消失 ,给视频中运动特征跟踪带来很大的困难 为了有效地跟踪这些不完全运动的特征 ,提出一种有效的特征跟踪算法 实验结果表明 ,该方法不但能快速、精确地跟踪孤立特征 。