摘要：基于三台树莓派4B单板计算机,搭建了包含一个Master节点和两个Node节点的Kubernetes计算集群,实现了云原生应用的便捷部署、自动编排和可靠运行。首先构建微服务组件,然后基于Docker实现组件程序容器化,最后将微服务系统部署于Kubernetes集群,实现了自动伸缩、负载均衡、资源调度和可观察性等服务治理特性。该实验涵盖了云原生程序从开发到容器化、再到集群部署并提供服务的全过程,并且以低成本的树莓派4B裸金属机器为集群硬件设施,实现了完整本地物理集群的构建。学生通过该实验的学习实践,能够更好地掌握云计算集群的设计思想和实践经验,更全面地理解云原生服务的概念、原理和构建方法。

摘要：近年来,大模型在生物信息学、自然语言处理和计算机视觉等多个领域取得了显著成功。然而,这些模型在训练和推理阶段需要大量的计算资源,导致计算成本高昂。同时,计算集群中存在资源利用率低、任务调度难的供需失衡问题。为了解决这一问题,提出了填充性载荷的概念,即一种在计算集群中利用空闲资源进行计算的负载。填充性载荷的计算资源随时可能被其他负载抢占,但其使用的资源优先级较低,资源成本也相对较低。为此,设计了适用于填充性载荷的分布式深度学习训练框架PaddingTorch。基于阿里巴巴PAI集群的数据,使用4块GPU模拟了任务切换最频繁的4个GPU时间段上的作业调度情况,使用PaddingTorch将蛋白质复合物预测程序作为填充性载荷进行训练。训练时长为独占资源时训练时长的2.8倍,但训练成本降低了84%,在填充性载荷填充时间段内GPU资源利用率提升了25.8%。

摘要：随着高性能计算需求的增加,集群的计算资源和计算能力不能满足多应用的复杂计算场景,难以应对作业高峰时的使用需求,存在资源隔离和机时闲置浪费的情况。为了解决高性能计算(HPC)集群资源管理和作业调度存在的问题,该文提出基于Docker容器的计算集群资源管理和优先级预约回填作业调度策略。根据用户提交的作业队列长度和集群虚拟资源需求变化,动态调整集群计算节点的形态,统一管理集群虚拟计算资源,定制用户作业运行环境。设计优先级预约回填作业调度策略,能够高效调度数量较大的串行和并行作业,满足集群计算资源使用的公平性,并提高其利用效率。通过与Firstfit策略和FCFS策略对比实验,该策略能有效兼顾计算集群的负载均衡,进一步提升集群作业调度的性能,满足集群的计算需求。

摘要：在城镇化、信息化快速发展的时代背景下,如何在海量、多源的大数据环境中,有效支撑现有城市规划,成为当前重要的发展方向。在传统数据分析处理框架下很难实现海量数据的快速分析及不同数据种类之间的融合关联分析。本文以重庆市交通综合信息平台在数据挖掘分析、信息服务应用推广中面临的挑战为基础,提出了基于大数据技术的计算集群框架设计。通过采用分布式计算框架(Spark)与分布式文件系统(HDFS)的高性能计算机集群和网络体系建设来实现平台在大规模海量数据下的并行计算及数据存储能力。为交通大数据的实时或准实时收集、处理、存储、分析和展现打下基础。

摘要：构建了Beowulf并行计算集群系统,并对其进行了效率分析。进行了时域有限差分方法(FDTD)的并行程序设计。利用该程序计算仿真了几个大型的带反射面的阵子阵列天线的远场时域散射特性,并给出了反射面的电流密度分布以及后向散射场时域波形和能量方向图,分析了后向散射场的峰值和能量随阵列尺度的变化关系,发现散射能量的改变较散射场峰值的改变更加明显。

摘要：针对异构深度学习训练中任务调度效率低下的问题,提出了一种计算集群训练任务进度利润最大化的模型,该模型可以动态分配集群中多任务的计算单元数量.对每个模型进行预训练,以获得它们的进度曲线,并为每个模型建立关于处理速度的资源模型,建立了进度增量最大化模型,设计了贪婪算法用于分配集群中的资源.实验结果表明,本调度算法能减少任务完成时间.

摘要：为支持国家重大科技专项大型先进压水堆核电站等非能动核电的研发与设计,设计实现大型非能动核电软件计算平台是比较紧迫的任务。本文结合非能动核电燃料和堆芯设计软件系统平台的现状,利用LSF集群计算技术,设计了一套高性能计算平台,实现了统一入口、统一账户、统一数据存储,达到了硬件资源、软件资源和数据资源的高效使用。与商业计算机软件集成不同的是,其需集成的软件数量众多,远远超过一般国家级高性能计算中心的应用软件数量,且该软件为非能动核电专有软件,软件开发方没有为软件的分布式计算提供开放透明的接口,需要逐个探索评测改进软件的集成开发工作,该课题组完成主要软件的集成开发工作,有力地支撑了AP1000依托项目设计分包项目、CAP1000、CAP1400等非能动核电的研发与设计工作。

摘要：金琦:在上一期中,我们对大数据的基本概念和大数据处理的代表框架Hadoop进行了介绍。Hadoop分布式文件系统(HDFS)是大数据技术典型代表。这个开源软件框架的设计初衷就是解决在分布计算集群中的存储和处理大量数据集的难题。随着大数据的蓬勃发展,数据管理工具得到了飞速的发展,相关概念如雨后春笋一般应运而生,如数据仓库、数据湖、数据中台等,这些概念特别容易混淆,本期对这些名词术语及内涵进行系统的解析,便于读者对数据平台相关概念有全面的认识。

摘要：中国科学院自动化研究所广州人工智能与先进计算研究院(以下简称"研究院")在新基建时代,建立先进智能计算集群、人工智能技术与场景生成、芯片设计与测试等开放平台,解决制约行业发展的计算瓶颈问题等,并通过与物联网、5G网络的互连,实现实感计算的集成,提供新的智能应用模式,布局行业未来发展的着力点。为进一步了解相关情况,本刊记者连线研究院。

摘要：《云计算与大数据》是一门以实践为基础的专业课程,建立实验平台显得尤为重要。针对实验过程中存在的问题,本文提出了基于多计算框架的实验教学平台方案,采用多计算框架将Map/reduce和Spark两种计算模型集成在同一个计算集群中,实验过程中可以根据具体的应用选择合适的计算模式。实验表明,本文提出的多计算框架方案能够使整个大数据平台在更加安全、稳定运行的情况下,提高对海量数据的计算处理能力,大大提高了处理效率和处理速度。