基于自适应时间步脉冲神经网络的高效图像分类

作     者：李千鹏 贾顺程 张铁林 陈亮 LI Qian-Peng;JIA Shun-Cheng;ZHANG Tie-Lin;CHEN Liang

作者机构：中国科学院自动化研究所北京100190 中国科学院大学人工智能学院北京101408 中国科学院脑科学与智能技术卓越创新中心上海200031 

基　　金：国家重点研发计划(2021ZD0200300)资助 

出 版 物：《自动化学报》 (Acta Automatica Sinica)

年 卷 期：2024年第50卷第9期

页      码：1724-1735页

摘      要：脉冲神经网络(Spiking neural network,SNN)由于具有相对人工神经网络(Artifcial neural network,ANN)更低的计算能耗而受到广泛关注.然而,现有SNN大多基于同步计算模式且往往采用多时间步的方式来模拟动态的信息整合过程,因此带来了推理延迟增大和计算能耗增高等问题,使其在边缘智能设备上的高效运行大打折扣.针对这个问题,本文提出一种自适应时间步脉冲神经网络(Adaptive timestep improved spiking neural network,ATSNN)算法.该算法可以根据不同样本特征自适应选择合适的推理时间步,并通过设计一个时间依赖的新型损失函数来约束不同计算时间步的重要性.与此同时,针对上述ATSNN特点设计一款低能耗脉冲神经网络加速器,支持ATSNN算法在VGG和ResNet等成熟框架上的应用部署.在CIFAR10、CIFAR100、CIFAR10-DVS等标准数据集上软硬件实验结果显示,与当前固定时间步的SNN算法相比,ATSNN算法的精度基本不下降,并且推理延迟减少36.7%~58.7%,计算复杂度减少33.0%~57.0%.在硬件模拟器上的运行结果显示,ATSNN的计算能耗仅为GPU RTX 3090Ti的4.43%~7.88%.显示出脑启发神经形态软硬件的巨大优势.

主 题 词：脉冲神经网络 低功耗推理 高效训练 低延迟 

学科分类：08[工学] 0812[工学-测绘类] 

核心收录：

D　O　I：10.16383/j.aas.c230656

馆 藏 号：203130880...