摘要：集合通信性能是影响并行程序并行效率的重要因素之一,但对于大规模并行计算机上不同类别集合通信的评测和理论分析仍较为缺乏,许多应用程序的通信模块设计和使用不合理。基于某国产并行机平台,利用IMB测试程序,对各典型MPI(message passing interface)集合通信性能进行了分析,并基于现有通信模型和算法进行理论拟合。结果显示:不同类别的MPI集合通信操作的性能差异很大,并且许多集合通信的性能在超大规模下与理论差距很大。一方面反映出现有理论和模型的不足;另一方面也体现出,无论是集合通信的优化,还是基于集合通信的特征进行应用程序的通信模块设计,仍然大有可为。

摘要：Alltoall是一种重要的MPI(message passing interface)集合通信类别,是影响许多并行程序并行效率的重要因素。但对于大规模并行计算机上Alltoall集合通信的评测和理论分析仍较为缺乏,导致许多应用程序的通信模块设计和使用不合理。首先,开展了MPI基本通信性能的测试和分析,发现随着MPI进程数的增加,其性能波动也增加,而这种波动源自网络竞争。为此,在传统的Alltoall性能评估模型中引入了网络竞争因素,新模型不仅考虑传统的通信带宽和通信延迟参数,还考虑了通信竞争因素。某国产并行机平台上的测试结果显示:引入网络竞争模型的新Alltoall性能评估模型可以较为准确地预估Alltoall性能,体现出网络竞争开销对Alltoall性能的影响。

摘要：高性能互联网络交换机是高性能计算机系统的核心部件.科学计算作为高性能计算机的上层应用,不仅要求交换机具有低延迟、高带宽的特性,还要求其在集合通信如广播、多播和同步操作等进行硬件级支持.HyperLink交换机,作为曙光5000计算机系统互联网络的重要组成部件,具有38.4ns单级延迟和160Gbps聚合带宽,并能够同时支持16组多播和16组同步操作.理想情况下,1024个节点多播和同步操作可以在2μs内完成,大大加速了科学计算的性能.为了对HyperLink交换机性能进行评价,建立了周期精确的仿真模型.通过模拟证明,对于16端口输入缓冲交换机,3个虚通道是性价比最好的选择;当MTU为1KB时,4KB大小的输入缓冲就可达到最高单播吞吐率.采用理论分析的方法比较了具有相同网络带宽的多轨网络和单轨网络,分析表明,前者可以有效降低网络延迟,因此能够比后者提供更高的网络吞吐率.采用LogP模型分析了HyperLink多播和Barrier的性能,分析表明,HyperLink交换机具有良好扩展性,能够很好支持到数千节点.

摘要：为满足大规模机器学习系统高定制化、低耦合与低资源消耗的需求,设计并实现一个轻量级分布式机器学习系统。采用模块化分层设计并移植多种主流的机器学习与深度学习算法,同时提出参数服务器与动态Ring-AllReduce 2种可扩展梯度同步方案,对算法模型进行并行训练加速。实验结果表明,该系统对于稀疏与稠密模型均有较好的扩展性与稳定性,参数服务器训练可达到与单机相近的准确率与收敛效果,Ring-AllReduce也能在8节点模型上实现相对单节点模型6倍的训练加速。

摘要：随着高性能计算机的应用和发展,并行应用程序所使用的处理器数越来越多,进程间的通信量也不断增多,这对应用程序的性能有很大影响。在采用一种快速傅里叶变换HFFT对曙光5000A进行性能测试时发现,MPI集合通信函数MPI Alltoall的巨大通信开销是并行程序设计的瓶颈。为此,对现有主流Alltoall算法在曙光5000A和深腾7000上进行性能测试与分析,以期对未来的Alltoall算法的优化工作做出贡献。利用不同消息长度和不同进程数测试了Alltoall函数多种算法的性能,这些算法包括二维网格算法、三维网格算法、Bruck算法、原始算法、成对交换算法、递归倍增算法、环算法以及LAM/MPI中的简单算法等。实验结果表明:消息长度较小时,在曙光5000A上采用原始算法和Bruck算法的性能较好,而在深腾7000上用时较少的算法是简单算法和Bruck算法;对于长消息,曙光5000A上最优的算法是环算法,深腾7000上成对交换性能最优。

摘要：通过分析全互换通信中4种算法的性能,提出了一种改进算法。该改进算法递归倍增的创建子进程,通过增加通信进程数目来减少通信次数。对比分析改进算法与成对互换算法的通信次数,改进算法的通信次数是成对互换算法的一半。实验机群是在版本为MPICH2-1.0.8并行环境下测试,结果表明,消息类型为长消息通信且通信进程数为2的幂次方时,该改进算法比成对互换算法的性能更优。

摘要：文中主要介绍了数值天气预报模式GRAPES_MESO(4.0版本)与大气化学模式CUACE在线耦合形成的GRAPES_CUACE大气化学耦合模型在不同版本的x86体系结构下的并行优化算法的研究与分析。借鉴目前国内外主流的并行优化设计方法,结合GRAPES_MESO系统本身的程序架构和并行框架,针对不同版本x86体系架构做了相应的并行化改造。运用gprof工具和戳桩计时等方法,测试得到的程序热点模块主要有3部分:IO、通信和物理过程。对IO模块主要的优化方法为:1、由离散读写改为连续读写;2、开辟缓冲区由稀疏访存改为连续访存;3、异步IO。对通信部分采用两种方式:1、由细粒度改为粗粒度通信;2、采用时间复杂度更低的集合通信。对IO与通信模块优化结果分析可得:IO模块优化后的耗时占比由原来的43.7%降至1.41%,比重大幅度降低,最优部分性能提升了317倍,因此,该方法极大地提升了IO模块运行效率。此外,对物理过程进行优化采用的主要方法是:1、多层循环计算过程由离散改为连续;2、通信机制循环外移;3、数据复用以减少计算冗余;4、缩减栈变量空间等。这些优化方法使计算性能提高了22%,进一步提高了程序的并行效率和模式的强可扩展性。