面向遥感图像场景分类的双知识蒸馏模型

作     者：李大湘 南艺璇 刘颖 LI Daxiang;NAN Yixuan;LIU Ying

作者机构：西安邮电大学通信与信息工程学院西安710121 

基　　金：国家自然科学基金(62071379) 陕西省自然科学基金(2017KW-013) 西安邮电大学创新基金(CXJJYL2021055,YJGJ201902) 

出 版 物：《电子与信息学报》 (Journal of Electronics & Information Technology)

年 卷 期：2023年第45卷第10期

页      码：3558-3567页

摘      要：为了提高轻型卷积神经网络(CNN)在遥感图像(RSI)场景分类任务中的精度,该文设计一个双注意力(DA)与空间结构(SS)相融合的双知识蒸馏(DKD)模型。首先,构造新的DA模块,将其嵌入到ResNet101与设计的轻型CNN,分别作为教师与学生网络;然后,构造DA蒸馏损失函数,将教师网络中的DA知识迁移到学生网络之中,从而增强其对RSI的局部特征提取能力;最后,构造SS蒸馏损失函数,将教师网络中的语义提取能力以空间结构的形式迁移到学生网络,以增强其对RSI的高层语义表示能力。基于两个标准数据集AID和NWPU-45的对比实验结果表明,在训练比例为20%的情况下,经知识蒸馏之后的学生网络性能分别提高了7.69%和7.39%,且在参量更少的情况下性能也优于其他方法。

主 题 词：遥感图像分类 知识蒸馏 双注意力 空间结构 

学科分类：0711[理学-心理学类] 0810[工学-土木类] 07[理学] 08[工学] 080401[080401] 0804[工学-材料学] 080402[080402] 081002[081002] 

核心收录：

D　O　I：10.11999/JEIT221017

馆 藏 号：203124212...