摘要：红外与可见光图像融合可以生成包含更多信息的图像,比原始图像更符合人类视觉感知也有利于下游任务的进行。传统的基于信号处理的图像融合方法存在泛化能力不强、处理复杂图片融合性能下降等问题。深度学习有很强的特征提取能力,其生成的结果较好,但结果中存在纹理细节信息保存少、图像模糊的问题。针对这一问题,文中提出一种基于多尺度Swin-transformer和注意力机制的红外与可见光图像融合网络模型。Swin-transformer可以在多尺度视角下提取长距离语义信息,注意力机制可以将所提特征中的不重要特征弱化,保留主要信息。此外本文提出了一种新的混合特征聚合模块,针对红外和可见光图像各自的特点分别设计了亮度增强模块和细节保留模块,有效保留更多的纹理细节和红外目标信息。该融合方法包括编码器、特征聚合和解码器三部分。首先,将源图像输入编码器,提取多尺度深度特征;然后,设计特征聚合融合每个尺度的深度特征;最后,采用基于嵌套连接的解码器重构融合后的图像。在公开数据集上的实验结果表明本文提出的方法对比其他先进的方法具有更好的融合性能。其中在客观评价指标中EI、AG、QP、EN、SD指标达到最优。从主观感受上,所提红外和可见光图像融合方法能够使结果中保留更多的边缘细节。

摘要：针对新型冠状病毒肺炎(COVID-19)分割问题中感染区域具有高变异性以及病灶与背景对比度低等问题,提出一种基于多尺度特征融合与反向注意力的COVID-19感染分割网络。首先,利用残差网络作为主干网络进行特征提取,并使用全局上下文聚合策略对不同层次特征进行融合得到粗略的分割结果;其次,在网络瓶颈处添加多尺度特征融合模块,利用空洞卷积与多核池化增强网络分割不同尺度病变的能力;最后,设计一种级联结构的反向注意力模块,利用互补区域的细节特征增强背景与目标的对比度。本文方法在COVID-19 CT分割测试集上的准确率、特异性、灵敏度分别达到0.714、0.700和0.958,误检和漏检区域明显减少,细小病灶的分割能力显著提升。