基于多模态多粒度融合网络的癫痫识别方法

作     者：戚晓雨 丁卫平 鞠恒荣 程学云 黄嘉爽 QI Xiaoyu;DING Weiping;JU Hengrong;CHENG Xueyun;HUANG Jiashuang

作者机构：南通大学信息科学与技术学院南通226019 

基　　金：国家自然科学基金(62102199) 

出 版 物：《数据采集与处理》 (Journal of Data Acquisition and Processing)

年 卷 期：2024年第39卷第3期

页      码：710-723页

摘      要：结构脑网络(Structural brain network,SC)和功能脑网络(Functional brain network,FC)能从不同角度反映癫痫对大脑结构信息的改变。目前,融合两类脑网络信息进行癫痫的辅助诊断已成为领域内的重要研究之一。然而,常见的融合模型仅在单一粒度上融合两类脑网络信息,忽略了脑网络的多粒度属性。本文提出一种基于多模态多粒度融合网络(Multi-modal multi-grained fusion network,MMFN)的癫痫识别方法,从全局和局部两个粒度对多模态脑网络特征进行融合,充分利用两类脑网络信息。局部粒度上,设计了连接边特征融合和节点特征融合,用以重构两类脑网络的连接边层和节点层的特征图,使两个模态交互式地学习特征;全局粒度上,设计了多模态分解双线性池化模块,学习两类脑网络的联合表示。实验结果表明,相比主流方法,所提方法可以显著提高对癫痫识别的准确率,辅助医生进行癫痫诊断。

主 题 词：多模态图像 多粒度 癫痫 结构脑网络 功能脑网络 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16337/j.1004-9037.2024.03.018

馆 藏 号：203128192...