摘要：基于生成对抗网络(Generative Adversarial Network,GAN)的医学图像融合是计算机辅助诊断领域的研究热点之一,但是现有基于GAN的融合方法存在训练不稳定,提取图像的局部和全局上下文语义信息能力不足,交互融合程度不够等问题。针对上述问题,本文提出了双耦合交互式融合GAN(Dual-Coupled Interactive Fusion GAN,DCIFGAN)。首先,设计了双生成器双鉴别器GAN,通过权值共享机制实现生成器之间和鉴别器之间的耦合,通过全局自注意力机制实现交互式融合;第二,设计耦合CNN-Transformer的特征提取模块(Coupled CNN-Transformer Feature Extraction Module,CC-TFEM)和特征重构模块(CNN-Transformer Feature Reconstruction Module,C-TFRM),提升了对同一模态图像内部的局部和全局特征信息提取能力;第三,设计跨模态交互式融合模块(Cross Model Intermodal Fusion Module,CMIFM),通过跨模态自注意力机制,进一步整合不同模态间的全局交互信息。为了验证本文模型的有效性,在肺部肿瘤PET/CT医学图像数据集上进行实验,该文方法在平均梯度,空间频率,结构相似度,标准差,峰值信噪比,信息熵等上与其他四种方法中最优方法相比,分别提高了1.38%,0.39%,29.05%,30.23%,0.18%,4.63%。模型能够突出病变区域信息,融合图像结构清晰且纹理细节丰富。

摘要：多模态医学图像可在同一病灶处提供更多语义信息,针对跨模态语义相关性未充分考虑和模型复杂度过高的问题,该文提出基于跨模态轻量级YOLOv5(CL-YOLOv5)的肺部肿瘤检测模型。首先,提出学习正电子发射型断层显像(PET)、计算机断层扫描(CT)和PET/CT不同模态语义信息的3分支网络;然后,设计跨模态交互式增强块充分学习多模态语义相关性,余弦重加权计算Transformer高效学习全局特征关系,交互式增强网络提取病灶的能力;最后,提出双分支轻量块,激活函数簇(ACON)瓶颈结构降低参数同时增加网络深度和鲁棒性,另一分支为密集连接的递进重参卷积,特征传递达到最大化,递进空间交互高效地学习多模态特征。在肺部肿瘤PET/CT多模态数据集中,该文模型获得94.76%mAP最优性能和3238 s最高效率,以及0.81 M参数量,较YOLOv5s和EfficientDet-d0降低7.7倍和5.3倍,多模态对比实验中总体上优于现有的先进方法,消融实验和热力图可视化进一步验证。

摘要：正电子发射断层显像/X线计算机体层成像(PET/CT)肺部图像中存在病灶区域特征像素信息少、形状复杂多样,病变与周围组织界限模糊等问题,导致模型对肿瘤病变特征提取不充分。针对上述问题,本文提出基于密集交互式融合Mask RCNN(DIF-Mask RCNN)实例分割模型。首先设计具有跨尺度主辅结构的特征提取网络,提取出不同尺度病灶特征;然后设计密集交互式增强辅助网络(DIFEN),通过将最浅层病变特征以密集连接形式与邻近特征、当前特征进行交互融合,增强深层特征图中病灶细节信息;最后构建密集交互式融合金字塔网络(DIF-FPN),在自下而上路径中将浅层信息逐个以密集连接方式补充到深层特征中,进一步加强模型对病变区域的微弱特征感知力。在临床PET/CT肺部图像数据集上进行消融实验和对比实验,结果表明所提模型对于病变区域实例分割的APdet、APseg、APdet_s、APseg_s指标分别为67.16%、68.12%、34.97%、37.68%,与Mask RCNN(ResNet50)相比在APdet和APseg指标上分别提升7.11%、5.14%。DIF-Mask RCNN模型能够有效检测分割肿瘤病变,为肺癌辅助诊断提供重要的参考价值与评估依据。

摘要：多模态医学图像融合在医学临床应用中起着至关重要的作用,为了解决现有方法大多数侧重于局部特征的提取,对全局依赖关系的探索不足,忽略了全局和局部信息交互,导致难以有效解决周围组织与病灶区域之间的模式复杂性和强度相似性问题。该文提出面向PET和CT医学图像融合的LL-GG-LG Net模型。首先,提出了局部-局部融合模块(Local-Local Fusion Module,LL Module),该模块采用双层注意力机制更好地关注局部细节信息特征;其次,设计了全局-全局融合模块(Global-Global Fusion Module,GG Module),该模块通过在Swin Transformer中加入残差连接机制将局部信息引入全局信息中,提高了Transformer对局部信息的关注程度;然后,提出一种基于可微分神经架构搜索自适应的密集融合网络的局部-全局融合模块(Local-Global Fusion Module,LG Module),充分捕获全局关系并保留局部线索,有效解决背景和病灶区域相似度高问题;使用临床多模态肺部医学图像数据集验证模型的有效性,实验结果表明,该文方法在平均梯度,边缘强度,QAB/F,空间频率,标准差,信息熵等感知图像融合质量评价指标上与其他七种方法中最优的方法相比,分别平均提高了21.5%,11%,4%,13%,9%,3%。模型能够突出病变区域信息,融合图像结构清晰且纹理细节丰富。