摘要：图像和视频是记录真实场景信息的重要媒介,它们包含丰富而详细的视觉内容,可以开发各种智能系统来执行各种任务。特别是对于低照度条件下的视频,提升其清晰度和细节可以更好地表现和还原真实场景。针对在夜间低照度环境条件下对周围环境感知的需求,提出一种基于多路光流信息时间一致性的微光视频增强算法。通过引入预测的光流与真实的光流信息,构建三分支孪生网络对微光视频进行增强;同时针对微光视频存在的低信噪比以及模糊化问题,设计一种基于双尺度注意力机制的微光视频去噪模块(CA-Swin模块),以提升网络的去噪性能。通过在DAVIS数据集上进行对比实验和评估,得出所提网络在增强微光视频方面更高效,鲁棒性显著;且该策略还具有通用性,可以直接扩展到大规模数据集。

摘要：针对红外图像存在纹理信息不丰富和边缘信息较少导致深度估计精度难以提高的问题,本文设计一种深层神经网络估计红外图像的深度,该网络融合了一个二维(2D)残差神经网络和一个三维(3D)卷积神经网络。传统单幅红外图像的深度估计方法遗漏了帧间信息,容易出现物体轮廓模糊甚至丢失的情况。在2D和3D网络输入端分别加入稠密光流和前后帧图像。进一步将3D卷积网络提取的视频特征与2D残差网络的特征图做权值连接。不同于传统神经网络的全连接层,全卷积层突破了输入图片的尺寸限制。实验结果表明,本文提出的红外图像深度估计方法具有较高的精度,估计出的物体轮廓更清晰完整。

摘要：针对互联网中对视频动作迅速精确识别的需求,文中在传统深度学习网络上进行了改进,构建时域与空间域上的双路卷积网络。该网络以卷积神经网络(CNN)中的卷积、池化与全连接计算为基础,一方面在空间域上提取视频帧中的像素信息作为网络输入特征;另一方面在时域上,为了更优地表示视频动作的变化特征,引入了光流信息,借助金字塔算法(LK)计算像素在dt时间内的光流矢量变化作为时域卷积特征。为了评估网络的性能,文中以舞蹈动作的识别为例进行算法的应用测试,测试数据集中包含了101个标识完备的舞蹈动作。此外,为了评估算法的性能,通过引入工业界现有的Inception V3与3D-CNN网络进行对比。测试结果表明,文中所提算法较Inception V3的F1提升了10.90%,识别精度相较于Inception V3与3D-CNN网络分别有10.85%和5.27%的提升。