残差密集注意力网络多模态MR图像超分辨率重建

作     者：刘羽 朱文瑜 成娟 陈勋 Liu Yu;Zhu Wenyu;Cheng Juan;Chen Xun

作者机构：合肥工业大学生物医学工程系合肥230009 中国科学技术大学电子工程与信息科学系合肥230026 

基　　金：国家自然科学基金项目(62176081 61922075 62171176) 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2023年第28卷第1期

页      码：248-259页

摘      要：目的现有医学图像超分辨率方法主要针对单一模态图像进行设计,然而在磁共振成像(magnetic resonance imaging,MRI)技术的诸多应用场合,往往需要采集不同成像参数下的多模态图像。针对单一模态的方法无法利用不同模态图像之间的关联信息,很大程度上限制了重建性能。目前超分辨率网络模型参数量往往较大,导致计算和存储代价较高。为此,本文提出了一个轻量级残差密集注意力网络,以一个统一的网络模型同时实现多模态MR图像的超分辨率重建。方法首先将不同模态的MR图像堆叠后输入网络,在低分辨率空间中提取共有特征,之后采用设计的残差密集注意力模块进一步精炼特征,再通过一个亚像素卷积层上采样到高分辨率空间,最终分别重建出不同模态的高分辨率图像。结果本文采用MICCAI(medical image computing and computer assisted intervention)BraTS(brain tumor segmentation)2019数据集中的T1和T2加权MR图像对网络进行训练和测试,并与8种代表性超分辨率方法进行对比。实验结果表明,本文方法可以取得优于对比方法的重建性能。相对于对比方法中性能最优的方法,本文方法在参数量低于对比模型的10%的情况下,当放大因子为2时,T1和T2加权模态的峰值信噪比(peak signal to noise ratio,PSNR)分别提高了0.1098 dB和0.4155 dB;当放大因子为3时,T2加权模态的PSNR提高了0.2959 dB,T1加权模态下降了0.0646 dB;当放大因子为4时,T1和T2加权模态的PSNR分别提高了0.2693 dB和0.0429 dB。结论本文提出的轻量级超分辨率网络能够充分利用不同模态MR图像之间的关联信息,同时获得各输入模态图像高质量的超分辨率重建结果。

主 题 词：图像超分辨率 多模态MR图像 卷积神经网络(CNN) 残差学习 密集连接 注意力机制 多模态信息融合 

学科分类：1305[艺术学-设计学类] 13[艺术学] 081104[081104] 08[工学] 0804[工学-材料学] 081101[081101] 0811[工学-水利类] 

核心收录：

D　O　I：10.11834/jig.220286

馆 藏 号：203118082...