基于图注意力和改进Transformer的节点分类方法

作     者：李鑫 陆伟 马召祎 朱攀 康彬 LI Xin;LU Wei;MA Zhao-yi;ZHU Pan;KANG Bin

作者机构：南京邮电大学物联网学院江苏南京210003 

基　　金：国家自然科学基金(No.62171232) 江苏省重点研发计划(No.BE2020729) 

出 版 物：《电子学报》 (Acta Electronica Sinica)

年 卷 期：2024年第52卷第8期

页      码：2799-2810页

摘      要：当前,图Transformer主要在传统Transformer框架中附加辅助模块达到对图数据进行建模的目的 .然而,此类方法并未改进Transformer原有体系结构,数据建模精度还有待进一步提高.基于此,本文提出一种基于图注意力和改进Transformer的节点分类方法 .该方法构建基于拓扑特征增强的节点嵌入进行图结构强化学习,并且设计基于二级掩码的多头注意力机制对节点特征进行聚合及更新,最后引入归一前置及跳跃连接改进Transformer层间结构,避免节点特征趋同引起的过平滑问题.实验结果表明,相较于6类基线模型,该方法在不同性能指标上均可获得最优评估结果,且能同时兼顾小规模和中规模数据集的节点分类任务,实现分类性能的全面提升.

主 题 词：节点分类 图注意力网络 Transformer 二级掩码 层间残差 多头注意力 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.12263/DZXB.20230515

馆 藏 号：203143376...