融合非局部特征表示的模糊图像复原

作     者：华夏 舒婷 李明欣 时愈 洪汉玉 Hua Xia;Shu Ting;Li Mingxin;Shi Yu;Hong Hanyu

作者机构：武汉工程大学电气信息学院武汉430205 

基　　金：国家自然科学基金项目(61801337 62471345 62171329) 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2024年第29卷第10期

页      码：3033-3046页

摘      要：目的基于深度学习的端到端单图像去模糊方法已取得了优秀成果。但大多数网络中的构建块仅专注于提取局部特征,而在建模远距离像素依赖关系方面表现出局限性。为解决这一问题,提出了一种为网络引入局部特征和非局部特征的方法。方法采用现有的优秀构建块提取局部特征,将大窗口的Transformer块划分为更小的不重叠图像块,对每个图像块仅采样一个最大值点参与自注意力运算,在不占用过多计算资源的情况下提取非局部特征。最后将两个模块结合应用,在块内耦合局部信息和非局部信息,从而有效捕捉更丰富的特征信息。结果实验表明,相比于仅能提取局部信息的模块,提出的模块在峰值信噪比(peak signal-to-noise ratio,PSNR)指标上的提升不少于1.3 dB。此外,设计两个局部与非局部特征耦合的图像复原网络,分别运用在单图像去运动模糊和去散焦模糊任务上,与Uformer(a general U-shaped Transformer for image restoration)相比,在去运动模糊测试集GoPro(deep multiscale convolutional neural network for dynamic scene deblurring)和HIDE(human-aware motion deblurring)上的平均PSNR分别提高了0.29 dB和0.25 dB,且模型的浮点数更低。在去散焦模糊测试集DPD(defocus deblurring using dual-pixel data)上,平均PSNR提高了0.42 dB。结论本文方法在块内成功引入非局部信息,使得模型能够同时捕捉局部特征和非局部特征,获得更多的特征表示,提升了去模糊网络的性能。同时,恢复图像也具有更清楚的边缘,更接近真实图像。

主 题 词：运动模糊 散焦模糊 自注意力 非局部特征 融合网络 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11834/jig.230735

馆 藏 号：203149579...