基于Actor模型的众核数据流硬件架构探索

作     者：张家豪 邓金易 尹首一 魏少军 胡杨 ZHANG Jia-hao;DENG Jin-yi;YIN Shou-yi;WEI Shao-jun;HU Yang

作者机构：清华大学集成电路学院北京100084 

出 版 物：《计算机工程与科学》 (Computer Engineering & Science)

年 卷 期：2024年第46卷第6期

页      码：959-967页

摘      要：超大规模AI模型的分布式训练对芯片架构的通信能力和可扩展性提出了挑战。晶圆级芯片通过在同一片晶圆上集成大量的计算核心和互联网络,实现了超高的计算密度和通信性能,成为了训练超大规模AI模型的理想选择。AMCoDA是一种基于Actor模型的众核数据流硬件架构,旨在利用Actor并行编程模型的高度并行性、异步消息传递和高扩展性等特点,在晶圆级芯片上实现AI模型的分布式训练。AMCoDA的设计包括计算模型、执行模型和硬件架构3个层面。实验表明,AMCoDA能广泛支持分布式训练中的各种并行模式和集合通信模式,灵活高效地完成复杂分布式训练策略的部署和执行。

主 题 词：晶圆级芯片 分布式训练 Actor模型 众核数据流架构 

学科分类：08[工学] 081201[081201] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1007-130X.2024.06.002

馆 藏 号：203128215...