基于均方误差的8位深度神经网络量化

作     者：冯鹏程 禹龙 田生伟 耿俊 龚国良 FENG Peng-cheng;YU Long;TIAN Sheng-wei;GENG Jun;GONG Guo-liang

作者机构：新疆大学信息科学与工程学院新疆乌鲁木齐830046 新疆大学网络中心新疆乌鲁木齐830046 新疆大学软件学院新疆乌鲁木齐830008 新疆大学软件工程技术重点实验室新疆乌鲁木齐830008 中国科学院半导体研究所高速电路与神经网络实验室北京100083 

基　　金：新疆维吾尔自治区科技援疆基金项目(2020E0234) 国家自然科学基金项目(U2003208、61962057、U19A2080、61563051、61662074) 北京市科技计划基金项目(Z181100001518006) 中国科学院STS计划基金项目(KFJ-STS-ZDTP-070) 新疆自治区科技人才培养基金项目(QN2016YX0051) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2022年第43卷第5期

页      码：1258-1264页

摘      要：为模型量化后具有更高的准确度,提出以量化均方误差(QMSE)为指标的确定量化系数的方法,针对量化后性能损失严重的小型网络,进一步提出更新统计参数(USP)的方法。QMSE将量化过程中的舍入和截断操作产生的噪声相结合,以此作为选取合适量化系数的指标;USP通过更新批次归一化层中的均值和方差,矫正模型量化产生的均值和方差偏移。实验结果表明,在不进行重训练的情况下,使用QMSE+USP对常见的深度神经网络量化,模型性能优于其它算法。

主 题 词：深度神经网络 模型压缩 量化 卷积神经网络 均方误差 

学科分类：08[工学] 081201[081201] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2022.05.008

馆 藏 号：203111697...