深度神经网络压缩与加速综述

作     者：纪荣嵘 林绍辉 晁飞 吴永坚 黄飞跃 Ji Rongrong;Lin Shaohui;Chao Fei;Wu Yongjian;Huang Feiyue

作者机构：厦门大学信息科学与技术学院福建厦门361005 福建省智慧城市感知与计算重点实验室(厦门大学)福建厦门361005 上海腾讯科技有限公司优图实验室上海200233 

基　　金：国家重点研发计划项目(2017YFC0113000 2016YFB10015032) 国家自然科学基金项目(U1705262 61772443 61402388 61572410) 国家自然科学基金优秀青年科学基金项目(61422210) 福建省自然科学基金项目(2017J01125) 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2018年第55卷第9期

页      码：1871-1888页

摘      要：深度神经网络在人工智能的应用中,包括计算机视觉、语音识别、自然语言处理方面,取得了巨大成功.但这些深度神经网络需要巨大的计算开销和内存存储,阻碍了在资源有限环境下的使用,如移动或嵌入式设备端.为解决此问题,在近年来产生大量关于深度神经网络压缩与加速的研究工作.对现有代表性的深度神经网络压缩与加速方法进行回顾与总结,这些方法包括了参数剪枝、参数共享、低秩分解、紧性滤波设计及知识蒸馏.具体地,将概述一些经典深度神经网络模型,详细描述深度神经网络压缩与加速方法,并强调这些方法的特性及优缺点.此外,总结了深度神经网络压缩与加速的评测方法及广泛使用的数据集,同时讨论分析一些代表性方法的性能表现.最后,根据不同任务的需要,讨论了如何选择不同的压缩与加速方法,并对压缩与加速方法未来发展趋势进行展望.

主 题 词：深度神经网络压缩 深度神经网络加速 参数剪枝 参数共享 低秩分解 知识蒸馏 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.7544/issn1000-1239.2018.20180129

馆 藏 号：203377416...