基于稀疏敏感的鲁棒网络分层剪枝策略

作     者：李平 袁晓彤 Li Ping;Yuan Xiaotong

作者机构：南京信息工程大学自动化学院江苏南京210044 江苏省大数据分析技术重点实验室大气环境与装备技术协同创新中心江苏南京210044 

基　　金：国家新一代人工智能重大项目(2018AAA0100400) 国家自然科学基金项目(61876090,61936005) 

出 版 物：《计算机应用与软件》 (Computer Applications and Software)

年 卷 期：2023年第40卷第5期

页      码：200-206页

摘      要：深度神经网络很容易受到精心设计的对抗样本攻击。虽然基于极大极小值优化的对抗训练方法能提升网络的鲁棒性,但是对抗训练比正常训练需要更大容量和更多参数的模型。为了获得一个高鲁棒性和高稀疏度的网络模型,该文从模型压缩角度出发通过实验分析模型精度、鲁棒性和稀疏性之间的关系,并根据鲁棒网络稀疏敏感特性提出一种基于稀疏敏感的鲁棒网络非结构剪枝算法。在Mnist和Cifar10数据集上的白盒攻击实验结果表明,该算法在采用较大剪枝率时仍能保持高模型精度和高鲁棒性。在黑盒攻击下,基于该算法的稀疏模型的鲁棒精度甚至能超过未剪枝模型。

主 题 词：鲁棒性 对抗训练 非结构剪枝 稀疏敏感度 

学科分类：08[工学] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1000-386x.2023.05.030

馆 藏 号：203122193...