深度学习的轻量化神经网络结构研究综述

作     者：王军 冯孙铖 程勇 WANG Jun;FENG Suncheng;CHENG Yong

作者机构：南京信息工程大学计算机与软件学院南京210044 南京信息工程大学数字取证教育部工程研究中心南京210044 南京信息工程大学科技产业处南京210044 

基　　金：国家自然科学基金(41875184) 江苏省“六大人才高峰”创新人才团队项目(TD-XYDXX-004) 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2021年第47卷第8期

页      码：1-13页

摘      要：随着深度神经网络和智能移动设备的快速发展,网络结构轻量化设计逐渐成为前沿且热门的研究方向,而轻量化的本质是在保持深度神经网络精度的前提下优化存储空间和提升运行速度。阐述深度学习的轻量化网络结构设计方法,对比与分析人工设计的轻量化方法、基于神经网络结构搜索的轻量化方法和基于自动模型压缩的轻量化方法的创新点与优劣势,总结与归纳上述3种主流轻量化方法中性能优异的网络结构并分析各自的优势和局限性。在此基础上,指出轻量化网络结构设计所面临的挑战,同时对其应用方向及未来发展趋势进行展望。

主 题 词：深度学习 轻量化设计 深度可分离卷积 Octave卷积 神经网络结构搜索 模型压缩 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.19678/j.issn.1000-3428.0060931

馆 藏 号：203104669...