自动生成影像学报告的混合特征提取无卷积结构深度学习模型

作     者：王瑞 花嵘 仪秀龙 韩承磊 WANG Rui;HUA Rong;YI Xiulong;HAN Chenglei

作者机构：山东科技大学计算机科学与工程学院山东青岛266590 

基　　金：山东省自然科学基金项目(ZR2022MF274) 

出 版 物：《山东科技大学学报（自然科学版）》 (Journal of Shandong University of Science and Technology(Natural Science))

年 卷 期：2023年第42卷第3期

页      码：85-93页

摘      要：在影像学报告的生成中,由于正常区域和异常区域的数据不平衡,描述疾病的关键词经常被描述图像正常区域的句子掩盖,导致异常图像特征的误判和漏判,严重影响医疗报告的质量。本研究提出混合特征提取无卷积深度学习模型,首次将Swin Transformer引入放射学报告中,设计了一个混合特征提取器,以提取更加细粒度的图像特征,准确地捕捉生成影像学报告所需要的异常特征;设计一个名为视觉-语义协同注意力的注意力机制,在生成报告时突出图像重点特征信息,对非关键信息进行过滤,有效提升生成异常报告的质量;使用具有记忆机制的解码器模块生成影像学报告。最后,在流行的影像学报告IU X-Ray数据集上与当前的主流模型进行对比表明,本模型在语言生成指标和临床评估方面都达到较理想的效果。

主 题 词：影像学报告 混合特征 多标签 标签特征 深度学习模型 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

D　O　I：10.16452/j.cnki.sdkjzk.2023.03.010

馆 藏 号：203122309...