基于Transformer和空间注意力的红外与可见光图像融合

作     者：耿俊 吴子豪 李文海 李晓瑜 GENG Jun;WU Zi-hao;LI Wen-hai;LI Xiao-yu

作者机构：新疆大学软件学院新疆乌鲁木齐830091 

基　　金：新疆维吾尔自治区自然科学基金项目(No.2021D01C077)资助 

出 版 物：《激光与红外》 (Laser & Infrared)

年 卷 期：2024年第54卷第3期

页      码：457-465页

摘      要：目前,已经有很多研究人员将卷积神经网络应用到红外与可见光图像融合任务中,并取得了较好的融合效果。其中有很多方法是基于自编码器架构的网络模型,这类方法通过自监督方式进行训练,在测试阶段需要采用手工设计的融合策略对特征进行融合。但现有的基于自编码器网络的方法很少能够充分地利用浅层特征和深层特征,而且卷积神经网络受到感受野的限制,建立长距离依赖较为困难,因而丢失了全局信息。而Transformer借助于自注意力机制,可以建立长距离依赖,有效获取全局上下文信息。在融合策略方面,大多数方法设计的较为粗糙,没有专门考虑不同模态图像的特性。因此,在编码器中结合了CNN和Transformer,使编码器能够提取更加全面的特征。并将注意力模型应用到融合策略中,更精细化地优化特征。实验结果表明,该融合算法相较于其他图像融合算法在主观和客观评价上均取得了优秀的结果。

主 题 词：图像融合 深度学习 Transformer 红外图像 可见光图像 

学科分类：080901[080901] 0809[工学-计算机类] 081203[081203] 08[工学] 080401[080401] 0804[工学-材料学] 0835[0835] 0803[工学-仪器类] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1001-5078.2024.03.018

馆 藏 号：203127425...