深度神经网络架构轻量化方法综述

作     者：林冲 范加利 闫文君 陈姮 杨颖 LIN Chong;FAN Jia-li;YAN Wen-jun;CHEN Heng;YANG Ying

作者机构：中国人民解放军91206部队山东青岛266109 海军航空大学青岛校区山东青岛266041 海军航空大学信息融合研究所山东烟台264001 

基　　金：国家自然科学基金面上项目(62371645) 泰山学者工程专项基金(ts201511020) 山东省高等学校青年创新团队发展计划(2022kj084) 海军航空大学青年基金(H3202209003) 

出 版 物：《中国电子科学研究院学报》 (Journal of China Academy of Electronics and Information Technology)

年 卷 期：2024年第19卷第2期

页      码：179-193页

摘      要：当前,深度神经网络作为学术界和工业界最受关注的研究方向之一,倍受广大科研人员青睐,但是存在架构很复杂、参数量巨大、计算成本、存储成本过高的缺点。因此,如何在保证神经网络性能可接受的情况下对其去冗余、实现轻量化设计成为热点问题。当前,各种轻量化方法如雨后春笋般涌现,为给希望利用轻量化神经网络解决具体问题的研究人员建立对网络轻量化方法的整体认识、快速选择合适的解决方案,文中对具有代表性的架构轻量化方法进行介绍:剪枝、架构搜索、知识蒸馏以及轻量化卷积核设计,并从不同角度对比分析各种方法优劣,最后在宏观层面展望神经网络轻量化的未来发展方向。

主 题 词：深度神经网络 深度神经网络轻量化 神经网络架构轻量化 轻量化网络 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 08[工学] 081104[081104] 080401[080401] 081105[081105] 0804[工学-材料学] 0835[0835] 0825[工学-环境科学与工程类] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1673-5692.2024.02.010

馆 藏 号：203127564...