基于结构重参数化的权重嵌套式教师-学生网络

作     者：庞枫骞 夏雨明 曾京生 康营营 邢志强 PANG Fengqian;XIA Yuming;ZENG Jingsheng;KANG Yingying;XING Zhiqiang

作者机构：北方工业大学信息学院 

基　　金：国家自然科学基金项目(62001009) 北京市教育委员会科学研究计划项目(KM202210009003) 

出 版 物：《北方工业大学学报》 (Journal of North China University of Technology)

年 卷 期：2024年第36卷第2期

页      码：109-118页

摘      要：教师-学生网络在知识蒸馏、知识扩展、域自适应以及多任务学习等领域的应用中均已取得显著成果且成为重要的框架或范式。在不同的应用场景中，教师-学生网络拥有不同的优化方向。本文针对半监督应用场景下的知识扩展任务提出了一种权重嵌套式教师-学生网络模型。该模型借鉴结构重参数化方法，将学生网络设计为结构重参数化网络，并进一步以其主干分支作为教师网络，实现教师网络和学生网络的嵌套。由于教师网络和学生网络的主干分支共享权重，因此本文所提出的框架可以大幅地缩减传统教师-学生网络模型的参数量以及对显存的要求。为了验证本文提出的框架在半监督设定下的有效性，我们在Food-101数据集上进行了对比实验。实验结果表明嵌套式的教师-学生网络在模型参数量和显存占用量减少超过40%的条件下，实现了在多种标注比例下均取得略高于传统教师-学生网络模型的性能。

主 题 词：教师-学生网络 结构重参数化方法 模型权重嵌套 半监督学习 图像分类 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

D　O　I：10.3969/j.issn.1001-5477.2024.02.012

馆 藏 号：203131636...