基于混合机制的深度神经网络压缩算法

作     者：赵旭剑 李杭霖 ZHAO Xujian;LI Hanglin

作者机构：西南科技大学计算机科学与技术学院四川绵阳621010 

基　　金：教育部人文社会科学基金资助项目(17YJCZH260) 四川省科学技术厅重点研发项目(2020YFS0057) 赛尔网络下一代互联网技术创新项目(NGII20180403) 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2023年第43卷第9期

页      码：2686-2691页

摘      要：近年来人工智能(AI)应用飞速发展,嵌入式设备与移动设备等有限资源设备对深度神经网络(DNN)的需求急剧增加。如何在不影响DNN效果的基础上对神经网络进行压缩具有极大理论与现实意义,也是当下深度学习的热门研究话题。首先,针对DNN因模型大、计算量大而难以移植至移动设备等有限资源设备的问题,深入分析已有DNN压缩算法在内存占用、运行速度及压缩效果等方面的实验性能,从而挖掘DNN压缩算法的影响要素;然后,设计学生网络和教师网络组成的知识迁移结构,融合知识蒸馏、结构设计、网络剪枝和参数量化机制,提出基于混合机制的DNN优化压缩算法。在mini-ImageNet数据集上以AlexNet为Benchmark,进行实验比较与分析。实验结果表明,所提算法在压缩结果的准确率降低6.3%的情况下,使压缩后的AlexNet的容量减小98.5%,验证了所提算法的有效性。

主 题 词：深度神经网络 网络压缩 网络剪枝 知识蒸馏 参数量化 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.11772/j.issn.1001-9081.2022091392

馆 藏 号：203116266...