摘要：多聚焦图像融合是图像融合的一个重要分支,在显微成像等方面具有广泛的应用.针对多聚焦融合中存在的纹理细节不清晰、聚焦区域误判等问题,本文从空间及通道信息全局关注的角度出发,结合Swin Transformer中的移动窗口自注意力机制和深度可分离卷积设计了一个全局信息编码-解码网络,采用综合损失函数进行图像重构任务的无监督学习;从特征邻域信息重要性的角度出发,引入了改进的拉普拉斯能量和函数在特征域进行图像聚焦属性的判别,增强图像聚焦区域判别的细粒度效果.与7种经典图像融合算法比较,本文算法在定性和定量分析中均取得了先进的融合性能表现,对原始图像的聚焦区域信息具有更高的保真效果.

摘要：多聚焦图像融合能够融合同一场景下具有不同聚焦部分的一系列图像.为了克服多聚焦图像融合模糊特征提取中存在的不足,提出一种基于U-Net的生成对抗网络模型.首先,生成器采用U-Net和SSE对多聚焦图像的特征进行提取,并完成图像融合;其次,判别器采用卷积层对已知的融合结果和生成器生成的融合图像进行分辨;然后,损失函数采用生成器的对抗损失、映射损失、梯度损失、均方误差损失和判别器对抗损失对生成网络进行参数调节;最后,将生成器、判别器和损失函数组成生成对抗网络模型,并进行实验.Pascal VOC2012数据集作为生成对抗网络的训练集,包括近焦图像、远焦图像、映射图像和融合图像.实验结果证明,该生成对抗网络模型能够有效地提取多聚焦图像中的模糊特征,且融合图像在互信息、相位一致性和感知相似性等方面表现优异.

摘要：针对目前多聚焦图像融合存在着在融合图像边缘处容易出现伪影和光环等问题,提出了一种新的基于导向滤波和聚焦区域局部标准差的多聚焦图像融合方法。首先,设计了一种新的聚焦区域检测策略,它将导向滤波后的源图像与均值滤波后的源图像相减得到绝对差值图像,并以此作为高频信息而生成粗略聚焦图;粗略聚焦图进一步经过导向滤波增强其高频细节信息,从而得到对应源图像的聚焦区域。然后,根据聚焦区域的局部标准差,利用像素级最大化规则得到初始决策图。最后,通过小区域去除策略和导向滤波优化生成最终决策图,并据此利用像素加权平均规则得到融合后的图像。实验结果表明,论文提出的多聚焦图像融合方法在主观视觉效果和客观评价指标方面的综合性能都优于现有的典型融合方法,且其计算效率也较高。

摘要：目的基于深度学习的多聚焦图像融合方法主要是利用卷积神经网络(convolutional neural network,CNN)将像素分类为聚焦与散焦。监督学习过程常使用人造数据集,标签数据的精确度直接影响了分类精确度,从而影响后续手工设计融合规则的准确度与全聚焦图像的融合效果。为了使融合网络可以自适应地调整融合规则,提出了一种基于自学习融合规则的多聚焦图像融合算法。方法采用自编码网络架构,提取特征,同时学习融合规则和重构规则,以实现无监督的端到端融合网络;将多聚焦图像的初始决策图作为先验输入,学习图像丰富的细节信息;在损失函数中加入局部策略,包含结构相似度(structural similarity index measure,SSIM)和均方误差(mean squared error,MSE),以确保更加准确地还原图像。结果在Lytro等公开数据集上从主观和客观角度对本文模型进行评价,以验证融合算法设计的合理性。从主观评价来看,模型不仅可以较好地融合聚焦区域,有效避免融合图像中出现伪影,而且能够保留足够的细节信息,视觉效果自然清晰;从客观评价来看,通过将模型融合的图像与其他主流多聚焦图像融合算法的融合图像进行量化比较,在熵、Qw、相关系数和视觉信息保真度上的平均精度均为最优,分别为7.4574,0.9177,0.9788和0.8908。结论提出了一种用于多聚焦图像的融合算法,不仅能够对融合规则进行自学习、调整,并且融合图像效果可与现有方法媲美,有助于进一步理解基于深度学习的多聚焦图像融合机制。

摘要：为了克服基于块的融合方法对块的大小敏感以及融合图像中存在伪影等问题,提出一种新的基于四叉树分解和自适应焦点测度的多聚焦图像融合方法。首先,设计一种新的基于修正拉普拉斯能量和(SML)和导向滤波的自适应焦点测度,用于获得源图像的焦点图。然后,采用一种新的四叉树分解策略,并结合已经得到的焦点图,进一步将源图像分解成最优大小的树块;同时,从树块中检测出聚焦区域,并构成决策图。最后,对决策图进行优化和一致性验证,并重构出一幅全聚焦图像。通过公共多聚焦图像数据集进行实验,与11种先进的融合方法进行视觉质量和客观指标比较。实验结果表明,本文所提出的融合方法取得了更好的性能。

摘要：为解决目前需要人工选取二维不可分小波滤波器实现图像融合的问题,提出一种基于CNN和融合图像清晰度的二维三通道不可分对称小波的滤波器组自动择优分类方法。构造大量分布均匀的3×5对称小波滤波器组,并用其对多聚焦图像进行融合,根据融合结果对滤波器组设置融合清晰度高低的标签,并构造滤波器组的训练集和测试集;设计出分类的卷积神经网络,并进行训练得到模型;对训练集和测试集以外的滤波器样本进行识别与结果分析。实验结果表明:所设计的网络模型在测试集和测试集以外的数据集上的识别率分别为99.48%和99.58%,其分类结果中较好的滤波器类对多聚焦图像融合都有较高的清晰度。

摘要：为更好保留源图像的信息,提出基于内容相关性的自相似区域划分技术,根据内容相关性的自相似性方法完成图像区域划分,利用图像间的共同相似区域完成图像匹配。实验中,经小波变换后的低频系数采用自相似性区域划分技术,获得区域划分标签图,采用加权融合方法完成融合;高频系数结合标签图,采用梯度能量绝对值最大值法完成融合。实验结果表明,在主客观评价上,该方法取得了较优的融合结果,符合人类的视觉感知,其性能优于经典的融合方法。

摘要：针对传统方法需要人工设定特征和融合准则来完成融合任务,未能充分利用源图像中其他潜在有用信息的缺陷,提出一种基于空间金字塔池化网络的深度学习方法.首先,设计了一种孪生双通道卷积神经网络,并使用金字塔池化代替最大池化,学习多聚焦图像的特征.然后,为了有效训练该网络,采用高斯滤波器合成一个大规模具有金标准的多聚焦数据集.给定一幅多聚焦图像作为输入,训练好的模型可以输出一个指示源图像中聚焦性质的得分图.此外,为了进一步提高融合效果,将得分图进一步分割为二值掩模图,并使用形态学方法对其进行优化.最后,通过在优化的二值掩模图及源图像之间使用点乘运算,将可以得到最终融合图像.实验结果表明,算法在测试集上平均量化指标提高了0.78%.

摘要：目的为了使多聚焦灰度图像融合时保持源图像清晰信息,并有效抑制块效应和重影现象,基于3种不同聚焦测量与模糊推理系统,设计一种焦点度量与模糊逻辑的多聚焦灰度图像融合方案。方法首先,分别利用空间频率(SF)、改进的Laplacian能量和(SML),以及梯度和(SOG)计算输入灰度图像在像素邻域的局部焦点特征,并利用像素相关性改善对比度,从而得到SF,SML,SOG等3种聚焦度量。其次,根据SF与SML强度关系,建立焦点三态图,结合互补聚焦信息,并进行形态、中值滤波和一致性检查,消除狭窄的鸿沟和突起问题。然后,引入模糊逻辑算子,将每个图像像素的SF,SML图以及SOG作为模糊化的输入,通过模糊规则和去模糊器,生成每个图像的融合权重。最后,根据焦点权重执行加权融合,形成最后的融合图像。结果实验结果表明,与当前流行的融合方案相比,对于灰度图像,所提算法在融合性能上具有一定的优势,其融合图像具有更好的景深信息,避免了块效应与重影现象。结论所提算法具有良好的融合质量,能够有效提高灰度图像的分辨率,在图像处理领域具有一定的价值。

摘要：针对多聚焦图像融合中权重分配和融合规则设计困难的问题,提出了一种基于改进生成对抗网络的多聚焦图像融合算法。首先,对生成器网络和判别器网络进行设计,为了避免图像在网络模型传递过程中造成的信息丢失,裁撤网络结构中的池化层,通过卷积层叠提取图像特征。其次,构建生成对抗网络的损失函数,优化网络参数,得到最佳的网络模型。最后,将实验结果与现有的几种融合算法相比较,通过5种客观评价指标来评价融合图像的效果。结果表明,提出的算法不仅在主观上有着良好的视觉效果,也在客观评价指标上有显著优势。