摘要：为了处理现有的基于卷积神经网络去雾方法只使用单一的注意力、很难生成细节生动的清晰图像,且容易导致色彩失真的问题,提出了一个全局与局部注意力融合的图像去雾方法,以获得正常清晰度和无色彩失真的去雾图像。首先利用通道注意力将输入的有雾图像在通道维度切分为两部分,一部分送入通道像素注意力通道抽取局部特征,另一部分送入transformer通道学习全局特征,然后利用像素注意力对两个通道学习的特征进行融合,将上述模块作为基本单元组合为一个多级U型去雾网络,增加残差连接缓解上下采样导致的细节信息丢失,最后在网络底层加入一个transformer模块学习全局信息。在多个公开可用的去雾图像数据集RESIDE SOTS Indoor、RESIDE SOTS Outdoor上测试所提方法的有效性,结果表明:对比经典的去雾方法,所提网络生成的图像细节更丰富并且色彩失真最少;在RESIDE SOTS Outdoor数据集上,相比经典的FFA-Net,峰值信噪比提高1.16 dB,相比GridDehazeNet,峰值信噪比提高3.68 dB。提出的全局与局部注意力融合方法能有效地去除雾霾,提升图像的对比度与清晰度,设计的多级U型去雾网络和残差连接结构能够缓解细节丢失,提升去雾效果,获得清晰的图像。

摘要：针对现有大部分去雾算法中对不同雾霾区域关注不足以及浓雾区域细节信息恢复不理想的问题,提出了一种结合卷积神经网络和transformer模块的非均匀去雾算法。首先,为了更好地关注浓雾区域,在浅层特征提取阶段构建了并联双注意力卷积网络,分别从像素和通道的角度给图像分配不同的权重;其次,在深层特征提取中,引入了transformer模块进行全局非均匀雾霾区域特征提取,既能有效捕捉特征之间的长距离依赖关系,又避免了普通卷积扩大感受野导致细节信息丢失的问题;最后,设计了多特征融合重建网络,能够自适应地融合浅层和深层特征,从而重构清晰图像。在公共数据集和自建非均匀雾霾数据集上进行了大量实验,结果表明,所提算法在视觉效果和客观评价指标上均优于其他对比算法。

摘要：人脑黑质致密部分割能够为帕金森病的诊断提供一定依据。黑质致密部在人脑核磁共振成像中像素占比低、类间差异小,为提高计算机辅助诊断系统对人脑黑质致密部的分割精度,提出一种基于改进U形神经网络(U-Net)的人脑黑质致密部分割方法。为了提取更多有效的多尺度图像语义特征,结合U-Net的跨连接结构并采用多头注意力机制,同时融合基于transformer编码器的高维语义编码模块以提取高维语义特征,避免浅层噪声对特征造成的影响。建立多任务模型并设计基于二维高斯核权重掩膜的损失函数,解决神经网络分割模型因多次下采样造成的不连续分割误差问题。构建包括140个帕金森病患者以及48个健康对照者的高精度核磁共振脑成像数据集进行实验,结果表明,相较常用的医疗影像分割方法 R2U-Net、HANet等,该方法的多任务分割效果取得明显提升,戴斯相关系数和AUC指标分别达到0.869 1和0.943 9,消融实验结果也验证了改进编码器和改进损失这2个模块的有效性。

摘要：针对点云分类问题,提出一种改进点云上采样网络,从低密度点云生成密集点云,提高点云分类准确率。针对点云上采样网络PU-GAN细节表示能力不足的问题,在生成器网络中引入transformer模块,整合提取的特征信息;在特征扩张模块加入门控循环单元和分层上采样单元,重构细粒度特征;以PU-GAN数据集进行训练,构建闽南古建筑数据集作为测试。实验结果表明,改进后网络的上采样效果获得了提升,具有良好的鲁棒性。通过对ModelNet40数据集进行上采样,在PointNet上进行分类实验,验证了该网络对分类准确率的提升。

摘要：为了解决现有的基于深度学习的零件识别模型参数量过大、检测速度慢、检测精度低的问题,以YOLOv5模型为基础,提出了结合轻量级网络和transformer的零件识别算法。首先,设计了一种轻量级主干特征提取网络,以减少网络的参数量和计算量,并提升推理速度;其次,将transformer模块与C3模块融合构成C3TR模块,以增强小目标的检测能力;最后,引入噪音净化模块,通过过滤噪音来提高零件识别模型的准确率。模型的检测平均准确率和平均召回率分别达到了86.7%和85.5%,相较原模型分别提升了和24.2%和17.4%。实验结果表明,改进后的模型在实现模型轻量化的同时,具有更快的检测速度和更高的识别准确率。

摘要：目的 针对计算机断层扫描(Computed Tomography,CT)中由于不完全扫描数据导致图像噪声伪影严重的问题,提出一种基于transformer块的混合域网络稀疏角度CT成像算法(Hybrid Domain network for sparse view CT imaging based on transformer,HDtransformer)。方法 算法的主要思想是借助于新型的transformer网络,构建适用于多阶段稀疏角度CT投影数据及图像数据的处理流,以提高稀疏角度CT图像重建质量;与现有两阶段混合域处理方法相比,本方法采用图像域-投影域-图像域三阶段混合处理流程,通过多阶段信息的联合互补提高成像质量;此外,针对不同阶段数据噪声伪影特点设计不同的transformer块,以实现差异化的处理;更进一步,算法采用可微分的解析重建和投影运算,建立投影域与图像域数据的转换,最终实现端到端的稀疏角度CT优质成像流。结果 通过Mayo数据实验验证,其视觉结果表明:处理后的不同部位CT图像噪声伪影均能够得到较好的抑制;量化结果表明:处理后的CT图像峰值信噪比和特征相似性均优于对比方法。结论 实验的定性和定量结果表明:所提算法在去除图像伪影噪声方面要优于其他算法,具有更高的质量,验证了该方法的有效性。

摘要：近年来,超分辨率重建已经成为图像处理领域的一个研究热点。然而,超分辨率重建面临着诸多挑战,当模型参数过大时,虽然能取得良好的性能,但需要巨大的内存成本。针对目前大多数图像超分辨率网络无法做到既能实现良好的性能,又能保持网络模型轻量级的问题,提出了一种用于单图像超分辨率的新型轻量级双阶段网络。具体来说,设计了一种轻量级卷积模块用于局部特征提取,同时引入了一种轻量级transformer模块学习图像的长期依赖关系,用于建模全局信息。实验结果表明,所提模型在客观评价指标和视觉效果上均表现良好。

摘要：为了提高多模态图像的融合效果,提出一种基于交叉自注意力的多模态图像融合网络,主要利用卷积运算和视觉transformer的优势进行多模态的图像数据融合。网络采用了双分支结构,首先,将可见光图像与红外图像分别经过相同的卷积模块获取模态特征,为了更有效地学习不同模态图像间的局部关联信息和全局关联信息。其次,将输入图像特征转化为序列模块特征后输入transformer模块,采用交叉自注意力机制模拟transformer模块中不同模态图像的对应关系,增加数据解析的维度,提高融合网络对全局信息的保留;然后设计了一个自残差空洞卷积连接网络,用于获得卷积过程中忽略的局部重要信息,增强网络对重点信息的提取能力;最后将融合得到的特征信息通过后续的卷积神经网络获得融合后的图像。为验证方法的有效性,在多模态数据集MS-COCO中的两个公开的红外和可见光图像数据集、磁共振成像和正电子放射断层造影术数据集上进行了大量的实验,并进行定性和定量分析,结果表明,所提出的模型相较于主流融合方法能够取得更好地融合效果。