摘要：近年来,大模型在生物信息学、自然语言处理和计算机视觉等多个领域取得了显著成功。然而,这些模型在训练和推理阶段需要大量的计算资源,导致计算成本高昂。同时,计算集群中存在资源利用率低、任务调度难的供需失衡问题。为了解决这一问题,提出了填充性载荷的概念,即一种在计算集群中利用空闲资源进行计算的负载。填充性载荷的计算资源随时可能被其他负载抢占,但其使用的资源优先级较低,资源成本也相对较低。为此,设计了适用于填充性载荷的分布式深度学习训练框架PaddingTorch。基于阿里巴巴PAI集群的数据,使用4块GPU模拟了任务切换最频繁的4个GPU时间段上的作业调度情况,使用PaddingTorch将蛋白质复合物预测程序作为填充性载荷进行训练。训练时长为独占资源时训练时长的2.8倍,但训练成本降低了84%,在填充性载荷填充时间段内GPU资源利用率提升了25.8%。

摘要：针对“人机物”三元融合的万物智能互联时代需求,中国科学院计算技术研究所的学者提出了“信息高铁”高通量低熵算力网的设计构想,在基础设施层提供低熵有序的支持,从而显著提升性能与品质.但信息高铁构想尚缺乏实验数据支撑.本文量化定义了通量、良率、CPU熵,分别用于刻画系统的性能、品质、无序程度;构建了信息高铁原型系统;并与基于Kubernetes容器编排的云计算系统进行对比.通过北京-南京的广域实验,验证了信息高铁原型系统可数量级提升良率和通量,其正则化后的CPU熵降至K8s系统的50%以下.本文通过提供实验数据分析结果,初步验证了信息高铁的低熵高通量潜力.