文献检索-宁波市创意产业特色资源库

限定检索结果

低资源集群中的大语言模型分布式推理技术: 收藏
分享
引用; 《中兴通讯技术》2024年第2期30卷 43-49页; 作者：冯文佼李宗航虞红芳电子科技大学成都611731; 探索了一种并行能力更强、具有更好兼容性的大语言模型(llm)分布式推理范式。该范式专为弱算力、小显存环境设计。同时面向主机内外差异带宽,设计了基于通信树的高效All-Reduce组通信技术;针对小显存集群,设计了细粒度的显存管理与调度...; 探索了一种并行能力更强、具有更好兼容性的大语言模型(llm)分布式推理范式。该范式专为弱算力、小显存环境设计。同时面向主机内外差异带宽,设计了基于通信树的高效All-Reduce组通信技术;针对小显存集群,设计了细粒度的显存管理与调度技术。最后,基于这些关键技术,构建了一套针对资源受限场景的llm推理软件系统,旨在用数量有限的低资源设备,最大化能推理的llm,同时通过优化通信策略与计算调度加速分布式推理。实验证明,在应用上述技术后,本方案的首词元生成延迟降低34%~61%,每秒生成词元吞吐量提升52%~150%,显存占用降低61%。; 来源：详细信息评论

限定检索结果