神威太湖之光加速计算在脑神经网络模拟中的应用

作     者：栗学磊 朱效民 魏彦杰 冯圣中 LI Xue-Lei;ZHU Xiao-Min;WEI Yan-Jie;FENG Sheng-Zhong

作者机构：中国科学院深圳先进技术研究院高性能计算研究中心广东深圳518055 国家超级计算深圳中心(深圳云计算中心)广东深圳518055 高效能服务器和存储技术国家重点实验室济南250101 

基　　金：科技部重点研发计划(2018YFB0204403,2016YFB0201305) 国家自然科学基金(U1813203,61433012) 国家自然科学青年基金(41804128,31601028) 深圳市基础研究项目(JCYJ20180507182818013,GGFW2017073114031767,JCYJ20170413093358429) 中国博士后科学基金(2019M653132) 中国科学院重点实验室(2011DP173015)资助 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2020年第43卷第6期

页      码：1024-1036页

摘      要：脑神经网络模拟是脑科学研究和理论验证的重要方法.为提高脑模拟速度,异构加速已开始应用于脑模拟.然而现有异构加速脑模拟软件均存在明显的访存性能和计算精度问题.为此,本文基于神威太湖之光研发了脑模拟软件SWsnn,确保了随机访存多发生在高速缓存中.为避免主存访问的随机性,将频繁出现随机访存且数据量较小的神经元信息长时间停留在局部存储(LDM),同时将数据量很大的突触连接数据存储在主存,且尽可能连续访问主存.为避免可塑性导致的对突触连接的随机搜索,对脉冲时间依赖可塑性(STDP)算法采用需要前再更新的方法,以确保主存访问的连续性.为了提高脑模拟精度,设计环形缓冲和延迟传送联合应用方法,以支持高精度时间步长的脑模拟.在此基础上,对SWsnn进行向量化、访存隐藏等优化操作,计算性能进一步提高约50%.SWsnn对104神经元全连接网络实现了生物实时模拟,比同等规模浮点计算能力GPU上运行的CARLsim快10倍左右.

主 题 词：脉冲神经网络(SNN) 脑模拟 SW26010 随机访存 环形缓冲 神威太湖之光 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

核心收录：

D　O　I：10.11897/SP.J.1016.2020.01025

馆 藏 号：203940020...