基于深度稀疏低秩分解的深度神经网络轻量化方法

作     者：程旗 李捷 高晓利 唐培人 盛良睿 王维 CHENG Qi;LI Jie;GAO Xiao-li;TANG Pei-ren;SHENG Liang-rui;WANG Wei

作者机构：四川九洲电器集团有限责任公司四川绵阳621000 

出 版 物：《控制与决策》 (Control and Decision)

年 卷 期：2023年第38卷第3期

页      码：751-758页

摘      要：基于嵌入式平台对深度神经网络轻量化的需求,结合模块化、逐层处理思想,以主流检测识别深度神经网络Faster RCNN轻量化为目标,设计基于深度稀疏低秩分解的轻量化方法.针对Faster RCNN网络架构特点,首先采用深度可分离卷积和稀疏低秩理论对Faster RCNN网络的特征提取主干网络部分进行初始轻量化;其次采用稀疏低秩裁剪对主干网络进行“逐层通道裁剪,逐层重训练,逐层调优”轻量化,采用张量Tensor-Train分解理论,对区域建议网络进行轻量化处理,尽可能保证低性能损失;再次对识别与分类网络进行稀疏低秩分解和通道裁剪,增加模型压缩倍数,减少所需要和所消耗计算资源;最后,基于感兴趣区域定位感知的RPN网络输入特征知识蒸馏,提升检测识别性能.数值实验表明,所提出方法可以实现模型压缩100倍,检测识别率仅下降5%.

主 题 词：轻量化 深度可分离卷积 目标识别 稀疏低秩裁剪 知识蒸馏 区域建议网络 

学科分类：1305[艺术学-设计学类] 13[艺术学] 081104[081104] 08[工学] 0804[工学-材料学] 081101[081101] 0811[工学-水利类] 

核心收录：

D　O　I：10.13195/j.kzyjc.2021.1213

馆 藏 号：203118253...