乳腺超声双模态数据的协同约束网络

作     者：杨子奇 龚勋 朱丹 郭颖 Yang Ziqi;Gong Xun;Zhu Dan;Guo Ying

作者机构：西南交通大学信息科学与技术学院成都610031 华北理工大学附属医院唐山063000 

基　　金：国家自然科学基金项目(61876158) 四川省重点研发项目(2019YFS0432) 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2020年第25卷第10期

页      码：2218-2228页

摘      要：目的通过深度学习对乳腺癌早期的正确诊断能大幅提高患者生存率。现阶段大部分研究者仅采用B型超声图像作为实验数据,但是B型超声自身的局限性导致分类效果难以提升。针对该问题,提出了一种综合利用B型超声和超声造影视频来提高分类精度的网络模型。方法针对B型超声图像及造影视频双模态数据的特性设计了一个双分支模型架构。针对传统提取视频特征中仅使用单标签的不足,制定了病理多标签预训练。并设计了一种新的双线性协同机制,能更好地融合B型超声和超声造影的特征,提取其中的病理信息并抑制无关噪声。结果为了验证提出方法的有效性,本文设计了3个实验,前两个实验分别对B型超声和超声造影进行预训练。在造影分支,使用根据医学领域设计的病理多标签进行预训练。最后,采用前两个实验的预训练模型进行第3个实验,相比单独使用B型超声图像精度提升6.5%,比单用超声造影视频精度提高7.9%。同时,在使用双模态数据里,本文方法取得了最高精度,相比排名第2的成绩提高了2.7%。结论本文提出的协同约束网络,能对不同模态的数据进行不同处理,以提取出其中的病理特征。一方面,多模态数据确实能从不同角度展示同一个病灶区,为分类模型提供更多的病理特征,进而提高模型的分类精度。另一方面,合适的融合方式也至关重要,能最大程度地利用特征并抑制噪声。

主 题 词：超声造影 双分支网络 双线性融合 协同注意力 乳腺癌分类 

学科分类：081203[081203] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11834/jig.200246

馆 藏 号：203986117...