摘要：针对现有图像描述生成方法普遍存在的对夜间场景、目标被遮挡情景和拍摄模糊图像描述效果不佳的问题,提出一种基于特征融合的多波段探测图像描述生成方法。将红外探测成像引入图像描述领域,首先利用多层卷积神经网络(CNN)对可见光图像和红外图像分别提取特征;然后根据不同探测波段的互补性,以多头注意力机制为主体设计空间注意力模块,以融合目标波段特征;接着应用通道注意力机制聚合空间域信息,指导生成不同类型的单词;最后在传统加性注意力机制的基础上构建注意力增强模块,计算注意力结果图与查询向量的相关权重系数,消除无关变量的干扰,从而实现图像描述生成。在可见光图像-红外图像描述数据集上进行多组实验,结果表明,该方法能有效融合双波段的语义特征,BLEU4指标、CIDEr指标分别达到58.3%和136.1%,能显著提高图像描述准确度,可以用于安防监控、军事侦察等复杂场景任务。

摘要：针对多波段同步融合图像普遍存在的清晰度不高、图像细节不丰富的问题,提出一种基于注意力机制生成对抗网络的图像特征级融合方法。首先,利用多波段特征图与其均值的差值构建注意力权重图,通过特征图与注意力权重图的点乘和相加获得特征增强图,以此构建特征增强模块;其次,设计特征级融合模块,将多波段特征增强图连接,通过归一化、上采样、卷积等操作重构融合图像;最后,将特征增强模块和特征融合模块级联建立生成器,并以VGG-16作为判别器构建生成对抗网络,以实现多波段图像端到端融合。实验结果表明,与当前经典的融合方法相比,所提出方法的平均梯度最为突出,验证了该方法的有效性。

摘要：针对多波段图像融合领域利用深度学习方法进行融合时过度依赖标签图像导致融合结果受限的问题,文中提出了一种基于多判别器生成对抗网络的多波段图像自监督融合方法。首先,设计并构建反馈密集网络作为特征增强模块,分别提取多波段图像特征并进行特征增强;其次,将多波段图像特征增强结果合并连接,并通过设计的特征融合模块重构融合图像;最后,将初步融合结果与各波段源图像分别输入判别网络,通过多个判别器的分类任务来不断优化生成器,使生成器在输出最终结果的同时保留多个波段图像的特征,以达到图像融合的目的。实验结果表明,与当前代表性的融合方法相比,所提方法具有更好的清晰度和更多信息量,细节信息更丰富,更符合人眼的视觉特性。

摘要：针对海面背景舰船目标单一波段图像识别率低的问题,提出了一种基于卷积神经网络(CNN)的融合识别方法。该方法提取可见光、中波红外和长波红外3个波段舰船目标特征进行融合识别。模型主要分为3个步骤:通过设计的6层CNN,同时对三波段图像进行特征提取;利用基于互信息的特征选择方法对串联的三波段特征向量按照重要性进行排序,并按照图像清晰度评价指标选取固定长度的特征向量作为目标识别依据;通过额外的2个全连接层和输出层进行回归训练。采用自建的三波段舰船图像数据库进行模型的训练和测试,共包含6类目标,5000余张图像。实验结果表明,本文方法识别率达到84.5%,与单波段识别方法相比有明显提升。

摘要：考虑多波段图像的融合识别可以扩展识别系统的应用范围,本文探索并设计了一种基于卷积神经网络的融合识别方法。该方法以AlexNet网络模型为基础,同时对可见光、中波红外和长波红外三波段图像进行特征提取;然后,利用互信息的方法对串联的三波段特征向量进行特征选择,依据重要性排序的方式选定固定长度的特征向量;最后,依据特征提取层级的不同,分别以早期融合、中期融合和后期融合3种融合方式来验证算法的有效性。采用自建的三波段舰船图像数据库进行了模型的训练和测试,共包含6类目标,5 000余张图像。实验结果显示,采用的3种融合识别方法中,中间层融合的识别准确率最高,达到84.5%,比早期融合和后期融合分别高5%和7%左右。另外,在本文的应用场景下,无论何种融合方式,其融合识别的准确率均明显高于其他单波段识别的准确率。