基于多模态多实例学习的胃癌患者生存预测算法

作     者：金怀平 陶玉泉 李振辉 陶海波 王彬 薛飞跃 Jin Huaiping;Tao Yuquan;Li Zhenhui;Tao Haibo;Wang Bin;Xue Feiyue

作者机构：昆明理工大学信息工程与自动化学院昆明650500 云南省人工智能重点实验室昆明650500 昆明医科大学第三附属医院云南省肿瘤医院放射科昆明650118 

基　　金：国家自然科学基金(82001986,82360345) 云南省科技厅-昆明医科大学应用基础研究联合专项(202101AY070001-181) 云南省应用基础研究计划(202101AW070001) 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2025年第37卷第2期

页      码：349-360页

摘      要：生存预测对于胃癌患者的治疗具有重要意义.针对传统基于组织病理图像的生存预测算法存在像素级标签缺失、信息量大以及模态单一等问题,提出一种基于多模态多实例学习的胃癌患者生存预测算法.首先使用多层感知器和自监督学习方法SimCLR分别提取临床数据和组织病理图像特征,然后采用基于全局感知的多实例学习方法提取高分辨率下的包级嵌入,使用平均池化方法得到低分辨率下的组织病理图像实例级嵌入,最后通过多模态融合方法将包级嵌入、实例级嵌入和临床数据特征进行融合,以实现不同模态数据之间的信息交互和不同放大倍数下图像信息的充分利用.在云南省肿瘤医院胃癌患者病理数据库上的实验结果表明,与传统的多实例学习方法相比,所提算法在5×和20×组织病理图像下胃癌患者生存预测的准确率分别提高了5.6~10.0个百分点,4.1~7.5个百分点,与常规的多模态融合方法相比,提高了3.5~4.9个百分点.

主 题 词：胃癌 组织病理图像 多实例学习 多模态融合 生存预测 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

核心收录：

D　O　I：10.3724/SP.J.1089.2023-00491

馆 藏 号：203157994...