神经网络模型轻量化方法综述

作     者：高杨 曹仰杰 段鹏松 GAO Yang;CAO Yangjie;DUAN Pengsong

作者机构：郑州大学网络空间安全学院郑州450000 

基　　金：郑州市协同创新重大专项(20XTZX06013) 河南省高等学校重点科研项目计划(21A520043) 中国工程科技发展战略河南研究院战略咨询研究项目(2022HENYB03) 河南省科技攻关项目(232102210050) 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2024年第51卷第S1期

页      码：11-21页

摘      要：近年来,神经网络模型凭借着较强的特征提取能力在各行各业的应用越来越广泛,并取得了不错的效果。然而,随着数据量的不断增大以及人们对高准确率的不断追求,神经网络模型的参数规模急剧增大,网络复杂度不断提高,导致计算、存储等资源开销不断扩大,使其在资源受限场景下的部署面临极大挑战。因此,如何在不影响模型性能的前提下实现模型轻量化,进而降低模型训练和部署的成本成为当前的研究热点之一。为此,文中从复杂模型压缩以及轻量化模型设计两方面入手,对当前典型的模型轻量化方法进行总结和分析,以期厘清模型压缩技术的发展脉络。其中,复杂模型压缩技术从模型剪枝、模型量化、低秩分解、知识蒸馏及混合方式5方面进行归纳,而轻量化模型设计则从空间卷积设计、移位卷积设计和NAS架构搜索3方面进行梳理。

主 题 词：神经网络 模型压缩 模型剪枝 模型量化 模型轻量化 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.11896/jsjkx.230600137

馆 藏 号：203128177...