面向小样本学习的轻量化知识蒸馏

作     者：陈嘉言 任东东 李文斌 霍静 高阳 CHEN Jia-Yan;REN Dong-Dong;LI Wen-Bin;HUO Jing;GAO Yang

作者机构：南京大学计算机科学与技术系江苏南京210023 

基　　金：国家自然科学基金(62106100,62192783,62276128) 江苏省自然科学基金(BK20221441) 江苏省双创博士项目(JSSCBS20210021) 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2024年第35卷第5期

页      码：2414-2429页

摘      要：小样本学习旨在模拟人类基于少数样例快速学习新事物的能力,对解决样本匮乏情境下的深度学习任务具有重要意义.但是,在诸多计算资源有限的现实任务中,模型规模仍可能限制小样本学习的广泛应用.这对面向小样本学习的轻量化任务提出了现实的需求.知识蒸馏作为深度学习领域广泛使用的辅助策略,通过额外的监督信息实现模型间知识迁移,在提升模型精度和压缩模型规模方面都有实际应用.首先验证知识蒸馏策略在小样本学习模型轻量化中的有效性.并结合小样本学习任务的特点,针对性地设计两种新的小样本蒸馏方法:(1)基于图像局部特征的蒸馏方法;(2)基于辅助分类器的蒸馏方法.在miniImageNet和TieredImageNet数据集上的相关实验证明所设计的新的蒸馏方法相较于传统知识蒸馏在小样本学习任务上具有显著优越性.

主 题 词：深度学习 小样本学习 图像识别 知识蒸馏 模型轻量化 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.13328/j.cnki.jos.006958

馆 藏 号：203127630...