图知识蒸馏综述:算法分类与应用分析

作     者：刘静 郑铜亚 郝沁汾 LIU Jing;ZHENG Tong-Ya;HAO Qin-Fen

作者机构：处理器芯片全国重点实验室(中国科学院计算技术研究所)北京100190 中国科学院大学计算机科学与技术学院北京100049 浙江大学计算机科学与技术学院浙江杭州310027 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2024年第35卷第2期

页      码：675-710页

摘      要：图数据,如引文网络,社交网络和交通网络,广泛地存在现实生活中.图神经网络凭借强大的表现力受到广泛关注,在各种各样的图分析应用中表现卓越.然而,图神经网络的卓越性能得益于标签数据和复杂的网络模型,而标签数据获取困难且计算资源代价高昂.为了解决数据标签的稀疏性和模型计算的高复杂性问题,知识蒸馏被引入到图神经网络中.知识蒸馏是一种利用性能更好的大模型(教师模型)的软标签监督信息来训练构建的小模型(学生模型),以期达到更好的性能和精度.因此,如何面向图数据应用知识蒸馏技术成为重大研究挑战,但目前尚缺乏对于图知识蒸馏研究的综述.旨在对面向图的知识蒸馏进行全面综述,首次系统地梳理现有工作,弥补该领域缺乏综述的空白.具体而言,首先介绍图和知识蒸馏背景知识;然后,全面梳理3类图知识蒸馏方法,面向深度神经网络的图知识蒸馏、面向图神经网络的图知识蒸馏和基于图知识的模型自蒸馏方法,并对每类方法进一步划分为基于输出层、基于中间层和基于构造图知识方法;随后,分析比较各类图知识蒸馏算法的设计思路,结合实验结果总结各类算法的优缺点;此外,还列举图知识蒸馏在计算机视觉、自然语言处理、推荐系统等领域的应用;最后对图知识蒸馏的发展进行总结和展望.还将整理的图知识蒸馏相关文献公开在GitHub平台上,具体参见:https://***/liujing1023/Graph-based-Knowledge-Distillation.

主 题 词：图数据 图神经网络 知识蒸馏 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.13328/j.cnki.jos.006933

馆 藏 号：203123303...