联合多视角Transformer编码与在线融合互学习的乳腺癌病理图像分类模型

作     者：李广丽 叶艺源 吴光庭 李传秀 吕敬钦 张红斌 LI Guang-li;YE Yi-yuan;WU Guang-ting;LI Chuan-xiu;LÜJing-qin;ZHANG Hong-bin

作者机构：华东交通大学信息工程学院江西南昌330013 华东交通大学软件学院江西南昌330013 

基　　金：国家自然科学基金(No.62161011) 江西省重点研发计划重点项目(揭榜挂帅)(No.20223BBE51036) 江西省自然科学基金(No.20212BAB202006) 江西省社科规划项目(No.22TQ01) 江西省教育厅科技项目(No.GJJ200628,No.GJJ2200639) 江西省研究生创新基金(No.YC2022-s546)~~ 

出 版 物：《电子学报》 (Acta Electronica Sinica)

年 卷 期：2024年第52卷第7期

页      码：2369-2381页

摘      要：乳腺癌是女性最常见的癌症.单一网络在乳腺癌病理图像分类中存在缺陷,卷积神经网络无法提取全局上下文,而Transformer不能准确描述局部细节.本文提出联合多视角Transformer编码与在线融合互学习的乳腺癌病理图像分类模型(Multi-View Transformer Online Fusion Mutual Learning,MVT-OFML).采用ResNet-50(Residual Network-50)提取图像局部特征,设计多视角Transformer编码模块,捕获图像中全局上下文;联合Logits和中间特征层构建OFML框架,实现ResNet-50与多视角Transformer编码模块间双向传递知识,使2个网络优势互补以完成乳腺癌病理图像分类.实验表明,在BreakHis和BACH数据集上,MVT-OFML的准确率比最强基线分别提升0.90%和2.26%,F1均值比最强基线分别提升4.75%和3.21%.

主 题 词：乳腺癌 病理图像分类 多视角Transformer 卷积神经网络 在线融合互学习 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.12263/DZXB.20230305

馆 藏 号：203138900...