深度神经网络压缩与加速综述

作     者：曾焕强 胡浩麟 林向伟 侯军辉 蔡灿辉 ZENG Huanqiang;HU Haolin;LIN Xiangwei;HOU Junhui;CAI Canhui

作者机构：华侨大学工学院福建泉州362021 华侨大学信息科学与工程学院福建厦门361021 香港城市大学计算机科学系中国香港999077 

基　　金：国家自然科学基金(61871434,61802136) 福建省自然科学基金杰出青年项目(2019J06017) 厦门市科技重大项目(3502ZCQ20191005) 厦门市科技局产学研协同创新项目(3502Z20203033) 福建省教改项目(FBJG20180038) 

出 版 物：《信号处理》 (Journal of Signal Processing)

年 卷 期：2022年第38卷第1期

页      码：183-194页

摘      要：近年来,随着图形处理器性能的飞速提升,深度神经网络取得了巨大的发展成就,在许多人工智能任务中屡创佳绩。然而,主流的深度学习网络模型由于存在计算复杂度高、内存占用较大、耗时长等缺陷,难以部署在计算资源受限的移动设备或时延要求严格的应用中。因此,在不显著影响模型精度的前提下,通过对深度神经网络进行压缩和加速来轻量化模型逐渐引起研究者们的重视。本文回顾了近年来的深度神经网络压缩和加速技术。这些技术分为四类:参数量化、模型剪枝、轻量型卷积核设计和知识蒸馏。对于每个技术类别,本文首先分析了各自的性能及存在的缺陷。另外,本文总结了模型压缩与加速的性能评估方法。最后,讨论了模型压缩与加速领域存在的挑战和未来研究的可能方向。

主 题 词：深度神经网络压缩与加速 深度学习 模型剪枝 知识蒸馏 参数量化 

学科分类：0711[理学-心理学类] 07[理学] 08[工学] 080401[080401] 0804[工学-材料学] 080402[080402] 

核心收录：

D　O　I：10.16798/j.issn.1003-0530.2022.01.021

馆 藏 号：203107404...