摘要：卷积神经网络(CNN)在视频增强方向取得了巨大的成功。现有的视频增强方法主要在空域探索图像内像素的相关性,忽略了连续帧之间的时域相似性。针对上述问题,提出一种基于时空域上下文学习的多帧质量增强方法(STMVE),即利用当前帧以及相邻多帧图像共同增强当前帧的质量。首先根据时域多帧图像直接预测得到当前帧的预测帧,然后利用预测帧对当前帧进行增强。其中,预测帧通过自适应可分离的卷积神经网络(ASCNN)得到;在后续增强中,设计了一种多帧卷积神经网络(MFCNN),利用早期融合架构来挖掘当前帧及其预测帧的时空域相关性,最终得到增强的当前帧。实验结果表明,所提出的STMVE方法在量化参数值37、32、27、22上,相对于H.265/HEVC,分别获得0.47、0.43、0.38、0.28 dB的性能增益;与多帧质量增强(MFQE)方法相比,平均获得0.17 dB的增益。

摘要：新一代视频编码标准H. 265/HEVC采用了去方块滤波与样点自适应补偿滤波技术来去除视频重建图像的块效应并降低失真.这两种技术都源于信号处理理论,依赖人工设计相关算法与参数,并不能充分挖掘自然视频丰富而复杂的特性.本文将视频编码的环路滤波问题转化为端到端的回归问题,借助于卷积神经网络,自动学习重建视频图像与原始图像的复杂映射关系,降低两者的误差,进而提升编码效率.所提出的多特征增量学习网络模型共35层,整个网络采用全局残差学习方式,通过依次串联多特征增量学习块,不断提取、筛选,加强有用特征,提升网络的感知能力与学习能力;在局部的每个增量学习块内,设计了多尺度的卷积核,借助于稠密网络的思想,充分利用各个层次的特征,使得信息在各层间充分传递.实验结果表明,这种稠密与稀疏结合的网络结构有效地提高了网络的学习能力,并具备良好的泛化性,对视频编码重建图像的质量增强有明显效果.所提出的网络模型用于取代H. 265/HEVC的环路滤波,在All Intra Main配置下,亮度分量获得最高-11. 12%,平均-6. 32%的BD-rate节省.该模型用于H. 265/HEVC的环路滤波,BD-rate平均可降低5. 24%.

摘要：基于神经网络的视频质量增强方法能够明显减少视频压缩噪声,提高压缩视频的主观与客观质量.目前,大多研究采用的是空域单帧增强策略.然而,视频图像在时域也具备高度相关性,这些信息还未在视频增强上得到充分利用.为此,提出了一种联合时空域信息的重建视频增强方法.首先,使用自适应网络,根据前后重建帧预测得到当前帧的虚拟帧;该虚拟帧携带了大量时域信息,当前帧在空域又有高度相关性,因此,提出使用渐进融合网络进一步融合两者信息,从而增强当前帧的质量.实验结果表明,在随机访问编码模式测试条件下,文中方法与H.265/HEVC相比,平均可获得0.38 dB PSNR增益;与仅用单帧增强相比,可获得0.06 dB PSNR增益;与已有的多帧增强方法(multi-frame quality enhancement,MFQE)相比,可获得0.26 dB PSNR增益,且参数量仅为MFQE的12.2%.此外,文中方法对重建视频的主观质量也有明显改善.