摘要：多模态医学图像融合已成为有效结合正常组织结构和异常改变信息、提高医学诊断效率的强有力辅助技术.针对空域融合技术在处理图像细节丢失、光谱退化等方面的缺陷,提出一种在联合双边滤波器(JBF)域内实现图像结构与细节信息增强的双通道频域多模态医学图像融合方法.该方法将源图像分解为结构和能量2个通道,分别处理图像纹理细节信息和边缘强度信息.在结构通道中,通过改进梯度能量得到局部梯度能量算子,进一步提升融合图像对小尺度细节信息的表达能力和对噪声的鲁棒性;在能量通道中,利用非下采样轮廓波变换提高模型的多方向多尺度特性,并提出一种局部熵细节增强算子和脉冲耦合神经网络结合的高频子带处理框架,达到增强能量通道中结构信息和细节信息的效果.在Atlas公开数据集上,与基于MST、稀疏表示、PCNN以及JBF的6种具有代表性的频域融合方法进行对比及消融实验的结果表明,所提方法的融合图像与源图像相似度提升35.0%,空间频率提升16.2%,边缘保持度提升12.5%,对比度提升11.2%;并在视觉方面有较好的效果,明显优于对比方法.

摘要：多模态医学图像融合在医学临床应用中起着至关重要的作用,为了解决现有方法大多数侧重于局部特征的提取,对全局依赖关系的探索不足,忽略了全局和局部信息交互,导致难以有效解决周围组织与病灶区域之间的模式复杂性和强度相似性问题。该文提出面向PET和CT医学图像融合的LL-GG-LG Net模型。首先,提出了局部-局部融合模块(Local-Local Fusion Module,LL Module),该模块采用双层注意力机制更好地关注局部细节信息特征;其次,设计了全局-全局融合模块(Global-Global Fusion Module,GG Module),该模块通过在Swin Transformer中加入残差连接机制将局部信息引入全局信息中,提高了Transformer对局部信息的关注程度;然后,提出一种基于可微分神经架构搜索自适应的密集融合网络的局部-全局融合模块(Local-Global Fusion Module,LG Module),充分捕获全局关系并保留局部线索,有效解决背景和病灶区域相似度高问题;使用临床多模态肺部医学图像数据集验证模型的有效性,实验结果表明,该文方法在平均梯度,边缘强度,QAB/F,空间频率,标准差,信息熵等感知图像融合质量评价指标上与其他七种方法中最优的方法相比,分别平均提高了21.5%,11%,4%,13%,9%,3%。模型能够突出病变区域信息,融合图像结构清晰且纹理细节丰富。

摘要：为了更好地满足临床辅助诊断和治疗的需要,提出一种基于提升小波变换的CT与MRI图像的融合方法.该方法在低频子带采用基于区域能量的融合规则;高频子带采用自适应脉冲耦合神经网络(PCNN)的融合规则,通过应用PCNN简化模型把图像逐像素的梯度能量作为PCNN的链接强度,使得PCNN能根据像素梯度能量的变化来自适应地调整链接强度的大小,并根据点火次数确定高频子带融合系数.实验结果表明,文中方法与传统融合方法相比性能优越,丰富了融合图像的边缘及细节信息,可取得更好的融合效果.

摘要：为了克服传统医学图像融合方法不能高效表示待融合图像中医学特征信息的问题,提出一种基于复数剪切波变换域幅值和相位统计信息的医学图像融合方法.首先利用复剪切波变换得到待融合医学图像的低频子带和高频子带,揭示各个高频子带系数相位呈现双峰分布的特点,提出基于两状态Von-Mises分布的相位统计模型;然后将经典的图像结构相似性(structural similarity of image,SSIM)推广至复数剪切波域,给出了结合幅值和相位的SSIM新表达形式,并基于此新表达式和相位统计模型提出全局-局部的融合规则;最后通过逆变换重建得到融合结果.对实验结果进行主观视觉比较和客观量化分析表明,该方法能够得到更好的融合结果.

摘要：针对PET与MRI医学图像融合后部分区域灰度低,容易产生伪影,且特征提取不充分存在细节缺失等问题,首先设计基于NSST多尺度变换的图像融合方法,对于高频子带设计残差网络对PET与MRI图像像素点进行权重分配后再融合,对于低频子带按照稀疏表示的融合规则进行融合,通过逆变换得到融合后的结果;之后设计一个密集卷积网络框架,引入自注意机制对图像的不同区域特征进行权重分配,在密集块之间引入尺度变化层得到不同尺度的特征图,并跨层融合不同尺度的特征图以恢复因多层卷积丢失的信息;为恢复因池化丢失的特征细节,设计后处理模块postProcessor对多尺度层提取到的特征图进行处理;最后模型通过具有2个神经元的全连接层与softmax分类器得到分类标签。模型在哈佛大学全脑图谱数据集与TCIA上进行实验,结果表明,融合后的脑部水平切面PET-MRI图像能更好地反映中央沟征以及边缘支括弧征,分类准确率达到97.6%和98.2%。

摘要：为了克服当前较多医学图像融合方法在采用图像的能量信息融合图像时,忽略了不同图像能量的关联度,使得融合结果存在细节丢失现象和模糊现象等问题,提出了一种非下采样Shearlet变换(NSST,non-subsampled shearlet transform)耦合能量关联度的医学图像融合算法;借助NSST变换,在多尺度下对输入医学图像进行解析,获取其低频及高频子带系数;以图像的能量信息为依据,构造能量关联度函数,测量不同图像的关联程度;根据不同图像的关联度,设计不同的低频子带融合规则,获取信息含量丰富且连贯性较好的融合低频子带;在空间频率函数的基础上,注入图像的对角信息,使之成为多元空间频率函数,以计算图像的清晰度;引入标准差函数,计算图像的对比度;联合图像的清晰度和对比度信息,获取纹理及对比度等特征都较优良的融合高频子带;基于逆NSST变换,重构融合结果;主观和客观实验结果表明,较当前较为流行的医学图像融合技术而言,所提方法具备更高的融合质量,呈现出更多的纹理细节和更高的清晰度。

摘要：根据小波低频子带图像的轮廓模糊度和高频子带图像的细节信息量随小波分解层数增多而增多的规律,从图像熵出发,提出了一种基于低频子带图像熵差的最佳小波分解层数选择法,该方法通过计算不同分解层数下各低频子带的图像熵差,选择最接近原始图像熵差的分解层数作为最佳分解层数。用多种基于小波变换的图像融合法分别对两组医学图像进行仿真实验,结果表明根据该分解层数选择法得到的融合图像目视效果最好,与相关系数、峰值信噪比、模糊Chebyshev距离值等客观评价指标保持了很好的一致性。

摘要：提出一种低秩稀疏成分分解和显著性相结合的医学图像融合方法。所提方法假设待融合源图像由低秩成分和稀疏成分构成,设计了低秩与稀疏成分分解模型,通过不同的字典对不同成分进行了稀疏表达。在融合过程中采用一种＂绝对值＂取大的策略对低秩成分融合,以保留源图像的亮度信息;对于稀疏成分,提出一种基于视觉显著性度量的方法来保留显著性特征。实验结果表明,本文方法无论从主观视觉还是客观评价指标上都优于最新的方法。

摘要：为了更好地对医学图像进行融合,提出了一种利用抗混叠轮廓波HMT模型的图像融合新算法。该算法首先对原始轮廓波变换的频谱混叠问题展开研究,明确LP分解中的两个低通滤波器不满足Nyquist抽样定律是造成混叠的主要原因。接着,在对低通滤波器考虑带限约束条件下,设计了一种能抑制混叠的利用双通道滤波器组结构的多尺度分解方案,用于代替原始轮廓波变换的LP分解,结合方向滤波器组,实现了一种抗混叠的轮廓波变换。在此基础上,提出一种采用隐马尔可夫树(HMT)来刻划变换系数尺度间相关性的医学图像成像模型,并以期望最大化算法估计模型参数,得到融合图像。CT与MR图像以及MR-T1与MR-T2图像的融合实验表明,该算法的融合结果无论在视觉质量及定量指标上都明显优于基于小波变换和原始轮廓波变换的方法。

摘要：对于不同模态的医学图像进行融合处理,可为临床提供新的诊断信息,设计了一种邻域空间频域激励的自适应PCNN医学图像融合新方法。首先,使用图像逐像素地改进拉普拉斯能量和(SML)清晰度作为PCNN对应神经元的链接强度;同时利用邻域空间频域(SF)特征信息激励每个神经元;然后,将源图像输入PCNN获得点火映射图构成的点火频数,再判定并选择各参与融合图像中的清晰部分生成融合图像。实验结果表明,该算法具有比经典金字塔方法、小波变换方法和传统的PCNN方法更好的融合性能。