基于双重注意力机制的RGB成像光谱重建方法研究

作     者：孙帮勇 喻梦莹 姚其 SUN Bang-yong;YU Meng-ying;YAO Qi

作者机构：西安理工大学印刷包装与数字媒体学院陕西西安710054 复旦大学工程与应用技术研究院上海200433 

基　　金：国家自然科学基金项目(62076199 62275051) 陕西省重点研发计划项目(2021GY-027 2022ZDLGY01-03)资助 

出 版 物：《光谱学与光谱分析》 (Spectroscopy and Spectral Analysis)

年 卷 期：2023年第43卷第9期

页      码：2687-2693页

摘      要：光谱图像比RGB图像存储的信息量更大,理论上具有更广泛的应用范围,然而受限于光谱成像设备成本高、数据处理复杂等问题,目前主要应用在遥感、军事及天文学等特定领域。近年来,学者们提出了利用RGB图像通过数学方法重建光谱图像的解决方案,能够极大提高光谱图像的应用范围。然而,当前光谱重建方法普遍存在图像细节易丢失、光谱精度不够高等问题,因此,提出一种基于双重注意力机制的RGB图像光谱重建方法,从图像细节和光谱精度方面提高光谱图像重建质量。所提出的光谱重建方法设计了一种稀疏信号深度重建网络,重点针对RGB图像的稀疏特性,从准确提取图像信息的多层次特征、挖掘更多语义信息入手,实现稀疏信号到完备信号重建。在网络结构上,所设计的光谱重建网络首先利用小参数卷积提取RGB图像的浅层特征信息;然后引入有效多频率通道注意力机制,计算特征层各通道之间的相关性,通过层间加权实现特征响应的有效分配;同时建立层特征加权融合注意力机制,学习不同层特征之间的依赖关系,通过不同层加权实现权重的优化,以便提取有效的光谱深度特征;最后基于所提取的深度特征通过卷积生成指定维度的光谱图像。该实验利用python3.7编程语言,以pytorch1.2作为深度学习模型框架,综合光谱图像误差和RGB图像误差作为损失函数进行光谱重建网络的训练。在NTIRE 2020和CAVE数据集上,对所提方法与7种主流光谱重建方法进行对比验证,从主观方面来看,该方法恢复的光谱图像细节更清晰、误差更小;从客观指标方面分析,该方法重建出的光谱图像与目前已有文献中重建性能较好的方法相比,在R RMSE、R SAM、R ERGAS指标上分别降低了18.9%、16.6%、22.2%,而R PSNR指标提高了4.5%。实验结果证明了该方法在RGB图像光谱重建的有效性。

主 题 词：光谱重建 高光谱成像 注意力机制 光谱超分辨率 

学科分类：07[理学] 070302[070302] 0703[理学-化学类] 

核心收录：

D　O　I：10.3964/j.issn.1000-0593(2023)09-2687-07

馆 藏 号：203123391...