摘要：基于深度学习的单幅图像去雨已经取得了较大进展,但现有方法去雨后的图像仍然存在细节丢失、密集雨纹去除不彻底等问题.为此,本文提出一种基于自适应感知金字塔网络的单幅图像去雨方法,能够在有效去除密集雨纹的同时对细节进行修正,显著改善去雨图像的视觉质量.首先,基于小波变换构建多尺度金字塔网络,在各尺度子网络之间进行递进式连接,实现雨纹迭代提取和去除;各尺度子网络内部以自适应雨纹感知模块为核心,设计对称跳跃连接将提取到的浅层特征反馈至深层,实现浅层特征的有效复用.其中,所设计的自适应雨纹感知模块通过非局部感知运算和共享扩张卷积扩大感受野,可有效感知雨纹特征,并融入注意力机制实现雨纹的自适应去除.为了更好地约束网络训练和去除不同尺度的雨纹,设计了一种多尺度损失函数,由粗及细逐步完成雨纹去除,可有效防止伪影现象.在合成和真实数据集上的大量实验表明,本文方法优于现有的主流方法,能够在去雨的同时较好地保持图像细节,视觉效果理想.

摘要：针对机器视觉场景图像中由于雨线影响导致背景信息模糊、损失的问题,提出一种基于倍频卷积和注意力机制的图像去雨方法.首先,建立基于空-频域去雨模型,设计基于空间尺度变换和倍频卷积的频率特征分解模块,通过学习得到频率特征和雨线特征的映射关系,降低低频特征空间冗余,提高网络运行效率;其次,设计多层通道注意力模块映射雨线层权重信息,增强重要特征,挖掘雨线层之间的亮度差异,提高雨线检测性能;最后,通过序列操作迭代分解出不同成分的雨线信息,进而完成场景图像去雨.实验结果表明,所提方法对不同方向、形状的雨线和雨滴具有良好的去除性能,同时对于背景图像的细节与边缘信息也具有较好的保护作用.

摘要：图像中附着的雨条纹对背景造成的破坏严重影响了对图像信息的分析和后续研究。为了恢复被雨条纹破坏的背景纹理特征,提出一种基于注意机制的轻量化稠密连接网络针对单幅图像进行去雨。注意机制有利于网络准确定位降雨区域,稠密连接网络的使用增强了特征的复用,缓解了梯度消失和模型退化问题。利用多尺度通道混洗深度可分离卷积实现网络轻量化设计,降低了网络参数规模,提升了网络运行效率。在合成数据集和真实数据集上的去雨结果表明,所提算法在定量指标和定性分析上都优于现有算法。

摘要：针对雨图像中由于雨线和雨幕效应导致背景信息模糊、清晰度下降的问题,本文提出一种基于深度频率特征注意力机制的图像去雨方法。首先,构建基于频率去雨模型的参数估计网络,设计基于空间尺度变换和倍频卷积的频率特征分解模块区分参数频率特征,降低低频特征空间冗余,提高运算效率。其次,在雨线检测模块中利用多频通道注意力机制映射雨线层权重信息,增强权重特征多样性,提高雨线检测性能。最后,设计基于焦频损失的去雨修复网络,进一步修复去雨模型估计图像,通过缩小频率差距提高图像修复质量,增强网络的抗干扰能力。实验结果表明,所提方法能够有效去除真实雨图像场景中的雨线,抑制雨幕效应,保留图像背景信息完整,图像清晰度较高。

摘要：现有基于自注意力网络Transformer的单图像去雨算法尽管在合成雨图上在取得良好效果,但却造成巨大的计算负担,且无法有效处理真实雨图.对此,本文提出一种频率引导的双稀疏自注意力单图像去雨算法(Frequen⁃cy-guided Dual Sparse self-Attention TransFormer,FDSATFormer).首先,该算法利用空间稀疏因子和通道降维因子在提取准确全局信息的同时减少计算量,进而提出双稀疏自注意力特征学习网络(Dual Sparse self-attention Feature Leran⁃ing,DSFL)以解决Transformer在高分辨率雨图上难以表征自注意力的问题.其次,该算法通过探究图像去雨前后的频谱变化,提出频率引导的特征增强模块(Frequency-guided Feature Enhancer,FFE),其利用频域的全局信息指导特征编码阶段对空域特征的学习.此外,现有去雨网络的编解码结构采用相近的设计,这导致网络的整体计算负担倍增.对此,本文提出层级特征解码重建网络(Hierarchical Feature Decoding and Reconstructing network,HFDR),其利用无参的空间邻域移位操作(Spatial Neighborhood Shift,SNS)构建特征解码网络,在取得良好效果的同时进一步减少整体的计算负担.实验表明,相比表现优秀的Uformer和Restormer,本文算法所得结果的平均峰值信噪比分别提升3.13 dB和0.12 dB,平均结构相似性分别提升1.39%和1.07%.

摘要：雨天是一种常见的恶劣天气,雨线会严重影响物体分类、检测和分割等算法的精度。在有雨图像中,不同尺度的雨线具有相似的形状特征,因此可以利用雨线间的互补信息来协同表达雨线特征。通过构建多尺度特征金字塔结构来利用不同雨线间的相似性特征,并设计初始模块、卷积长短期记忆网络(Conv-LSTM)模块、融合模块和重构模块。此外,在融合模块中通过引入轻量的非局部机制来引导雨线特征的精融合和提取。在合成和真实的数据集上进行大量实验,对比近年4种基于深度学习的图像去雨方法,所提方法的峰值信噪比(PSNR)和结构相似性(SSIM)均有提升。实验结果表明,所提方法在保持图像原有信息的同时,能够高效地去除雨线和避免图像模糊。

摘要：为了获取更好的去雨效果,更好地保留图像纹理细节,设计了一个端到端的多尺度注意力密集连接网络,引入了多尺度注意力模块,通过不同的扩张卷积获得不同尺度下的雨条纹特征。设计了一个并行注意力蒸馏模块,结合通道注意力和子空间注意力机制来校准从多尺度采集获得的图像特征,然后消除冗余特征信息。整体网络架构采用密集连接跨层融合代替直接连接的方式,加强了特征重用,易于训练。结果表明,本方法在提升去雨性能的同时,改善了对于图像的细节保留。

摘要：针对雨天环境下获取图像质量差,导致后续机器视觉任务效率低下的问题,提出一种基于多特征交互和密集残差的图像去雨算法.首先,提出多重特征交互卷积模块提取不同空间下雨线的语义特征,增强信息利用程度;其次,构建多维空间权重注意模块,将不同空间信息权重初步融合并增强雨线特征;然后,结合密集连接和残差网络的优点,设计一种密集残差融合模块,在提高网络学习能力的同时实现对信息的重复利用,进一步校正雨纹信息;最后,通过将多种损失函数线性组合,并结合雨天成像模型提高输出图像质量.在多个公开数据集上的实验结果表明,本文所提算法的主客观评价指标均优于所对比的经典及新颖算法,在去除雨纹的同时能更有效地保留图像背景细节信息.

摘要：有雨图像往往丢失大量的特征及细节信息,严重影响视觉效果和目标检测.针对有雨图像,本文采用图像显著性检测来寻找有雨区域,确定待修复区域,设计了多尺度融合生成对抗网络(Multiscale Fusion Generative Adversarial Network,MsF-GAN)进行图像去雨,在生成器的12/14/16网络层采用Concat进行多尺度融合,使生成的去雨图像中更多地保留图像的原始信息,鉴别器采用全局鉴别保证图像去雨的视觉连贯性,局部鉴别提高有雨区域去除的泛化能力,从而保证了去雨的有效性和可靠性.本文提出的MsF-GAN在公开发布的数据集上进行了实验,结果表明:去雨图像的结构相似度(Structural similarity index,SSIM)和峰值信噪比(Peak Signal to Noise Ratio,PSNR)等相关指标相比其他方法都有了大幅提升.

摘要：针对图像中累积的雨水严重干扰高层视觉算法运行的问题,提出了一种高效的图像去雨方法。该方法利用注意力机制设计了一个多尺度特征融合去雨网络。首先用一个预处理模块提取出雨水的浅层特征,再将浅层特征送入多尺度特征融合模块获得深层次的特征,在多尺度特征融合模块中引入注意力机制将这些特征进行融合,提高模块中使用平滑扩张卷积减少伪影问题。实验结果表明,该方法在公开雨水数据集Rain100 H、Rain100 L和Rain12上获得的峰值信噪比(PSNR)和结构相似比(SSIM)指标相比其它方法分别平均提高了0.93 dB和1.43%,获得了更清晰的去雨结果。