摘要：针对现有滤波器剪枝逐层固定比率修剪导致的模型性能及自适应能力不足,提出一种基于稀疏约束的滤波器剪枝方法。将批归一化(batch normalization,BN)层的比例因子作为特征图及滤波器重要性权重,对其进行稀疏正则化训练,经排序计算出全局最优阈值,修剪出最优子网络;通过提出全局-局部阈值策略,解决剪枝率过大导致的断层现象;采用过参数化卷积方法,在保持模型大小的前提下,提升剪枝模型性能。实验结果表明,提出方法在压缩性能及自适应性上优于现有剪枝方法。

摘要：针对深度卷积神经网络在资源紧张、功耗敏感的边缘设备上部署难问题,基于现场可编程逻辑门阵列(Field-Programmable Gate Array,FPGA)提出了一种面向稀疏神经网络的软硬件协同加速方法。为减少模型参数对存储空间的占用,通过DropNet迭代剪枝和动态定点量化,对网络模型的参数量和数值精度进行了压缩处理。针对密集型计算的卷积操作,设计了矩阵分块和多位宽流水线并行策略,以充分挖掘并行计算潜力,提高数据复用率。采用二维池化分离策略,将池化过程分解为两个并行的一维池化操作,在规避大量冗余计算的同时显著减少了池化中间结果对寄存器的占用。在MNIST和Fashion MNIST两个数据集上进行的实验,证明了所提出方法的先进性。结果表明:在100 MHz工作频率下,针对LeNet网络模型,所提出方法相较基于CPU的方法在单张图片测试上取得了约35倍的加速效果;针对SeNet网络模型,所提出方法相较基于CPU的方法在单张图片测试上取得了约96倍的加速效果。