基于残差卷积注意力网络的视频修复

作     者：李德财 严群 姚剑敏 林志贤 董泽宇 LI De-cai;YAN Qun;YAO Jian-min;LIN Zhi-xian;DONG Ze-yu

作者机构：福州大学物理与信息工程学院福建福州350108 晋江市博感电子科技有限公司福建晋江362200 

基　　金：国家重点研发计划(No.2016YFB0401503) 广东省科技重大专项(No.2016B090906001) 福建省科技重大专项(No.2014HZ003-1) 广东省光信息材料与技术重点实验室开放基金(No.2017B030301007) 

出 版 物：《液晶与显示》 (Chinese Journal of Liquid Crystals and Displays)

年 卷 期：2022年第37卷第1期

页      码：86-96页

摘      要：视频修复旨在填补视频中的缺失区域,由于很难精确保持修复内容的时空一致性,故视频修复仍具有挑战性。针对现有视频修复中存在的修复结果语义信息不连续,出现视频模糊和时间伪影,以及网络设计越来越复杂,网络整体速度变慢的问题,本文提出了一种基于残差网络的卷积注意力网络(RCAN)用以视频修复。通过将自注意力机制和全局注意力机制引入进残差网络,增强网络对所有输入帧的时空特征的学习能力,并采用时空对抗损失函数进行优化,提高视频修复的质量。同时网络还能够高度自由地定义层数和参数量,提高网络的实际应用能力。实验结果表明,该网络在DAVIS和YouTube-VOS数据集上取得了PSNR为30.68 dB,SSIM为0.961,FID为0.113的平均修复结果,基本符合实际场景对模型的修复质量要求,为视频修复提供了一种新思路。

主 题 词：深度学习 视频修复 自注意力机制 残差网络 生成对抗网络 

学科分类：0810[工学-土木类] 08[工学] 080203[080203] 0703[理学-化学类] 0802[工学-机械学] 

D　O　I：10.37188/CJLCD.2021-0196

馆 藏 号：203107232...