无偏稀疏正则化的双策略结构神经网络压缩

作     者：林泽建 王骏逵 谢俊明 李珍妮 谢胜利 LIN Zejian;WANG Junkui;XIE Junming;LI Zhenni;XIE Shengli

作者机构：广东工业大学自动化学院广东省物联网信息技术重点实验室广东广州510006 广东工业大学自动化学院物联网智能信息处理与系统集成教育部重点实验室广东广州510006 智能检测与制造物联教育部重点实验室基于物联网技术的离散制造智能化学科创新引智基地广东广州510006 

基　　金：国家自然科学基金面上项目(62273106) 科技部外专人才项(DL2022030011L) 广东省自然科学基金面上项目(2023A1515011480) 

出 版 物：《信息与控制》 (Information and Control)

年 卷 期：2023年第52卷第3期

页      码：313-325页

摘      要：虽然深度神经网络模型的性能十分出色,但目前网络存在规模庞大、权重冗余度高的问题。同时,现有对网络权重剪枝的正则子估测偏差大。因此,本文提出无偏稀疏正则化的双策略结构神经网络压缩。首先,本文将神经网络所连接权重视为一组,提出采用估测值偏差小的非线性拉普拉斯函数,构建组间无偏结构稀疏正则子和组内无偏结构稀疏正则子,对冗余神经元和剩余神经元的冗余权重分别进行稀疏约束,构建无偏稀疏正则化的双策略结构神经网络压缩模型。其次,针对所设计的无偏稀疏正则化的网络压缩优化难题,本文采用近端算子技术获得无偏稀疏正则子的闭式解,进而设计基于近端梯度下降法的反向传播算法,实现神经网络准确的结构压缩。最后,通过在数据集MNIST、FashionMNIST和Cifar-10进行实验验证,本文所提出的无偏稀疏正则子的双策略结构神经网络压缩不仅收敛速度快于目前主流正则子。而且在压缩率保持一致的情况下,相比已有的方法识别精度平均提升2.3%,在识别保持精度基本一致的情况下,相对已有方法平均提升11.5%的压缩率。

主 题 词：神经网络 压缩 结构剪枝 无偏稀疏正则子 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.13976/j.cnki.xk.2023.2211

馆 藏 号：203122603...