基于Swin Transformer和Style-based Generator的盲人脸修复

作     者：向泽林 楼旭东 李旭伟 XIANG Ze-Lin;LOU Xu-Dong;LI Xu-Wei

作者机构：四川外国语大学成都学院都江堰611844 四川大学计算机学院成都610065 

基　　金：国家重点研发项目(2020YFC0832404) 

出 版 物：《四川大学学报（自然科学版）》 (Journal of Sichuan University(Natural Science Edition))

年 卷 期：2023年第60卷第3期

页      码：59-67页

摘      要：盲人脸修复任务是从低质量的图像(例如模糊、噪声和压缩图像)中恢复高质量的图像.由于事先不知道低质量图像的退化类型和退化参数,因此盲人脸修复是一个高度病态的问题,在修复过程中严重依赖各种先验指导.然而,由于面部成分和面部标志等面部先验通常是从低质量图像中提取或估计的,可能存在不准确的情况,这直接影响最终的修复性能,因此难以有效利用这些先验知识.此外,目前的主流方法基本都是依赖ConvNets进行特征提取,没有很好地考虑长距离特征,导致最终结果缺乏连续一致性.本文提出了一种改进的StyleGAN模型,命名为SwinStyleGAN,应用在高级视觉任务上表现出色的Swin Transformer来提取长距离特征,并通过改进后的类StyleGAN合成网络逐步生成图像.本文设计了一个空间注意力转换模块SAT来重新分配每个阶段特征的像素权重,以进一步约束生成器.大量实验表明,本文提出的方法具有更好的盲人脸修复性能.

主 题 词：盲人脸修复 ConvNets Swin Transformer StyleGAN 空间注意力转换模块 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.19907/j.0490-6756.2023.032003

馆 藏 号：203122291...