摘要：基于图形处理器(graphics processing unit,GPU)加速设备的高性能计算机已经成为目前高性能计算领域的一个重要发展趋势.然而,在当前的GPU设备上开发高效的并行程序仍然是一件非常复杂的事情.针对这一问题,1)总结了影响GPU程序性能的5类关键性能指标;2)采用NVIDIA公司提供的CUPTI底层接口,设计并实现了一套GPU程序性能分析工具集,该工具集可以有效地分析GPU程序的性能行为;3)采用该工具集对著名的GPU评测程序集Rodinia中的17个程序和一个真实应用程序进行了负载特征分析.总结出常见性能瓶颈的典型原因,并给出一些开发高效GPU程序的建议.

摘要：针对异步策略设计难的问题,提出面向异构超级计算机的高效异步性能预测方法,解耦异步与同步执行的性能,通过层次化建模等技术实现快速精确的性能预测,指导异步策略设计与性能优化。在国产神威异构高性能计算机上,以高性能计算领域典型应用为例,验证所提出建模方法的准确性和高效性。实验结果表明:本方法平均预测精度达到96.61%,预测效率在毫秒级。

摘要：对Grapes,Mx3dg和TH-PaPSM三种应用程序的通信模式进行了分析.重点讨论了点对点消息的数量、大小和目的进程的分布情况,对并行应用程序中的消息局部性进行了量化研究.本研究对设计符合真实应用的测试程序、优化科学应用程序具有较好的参考价值.

摘要：随着应用程序规模的增大,应用程序对计算资源的需求也日益增加,超级计算机为满足这一需求提供了良好的平台。传统的超级计算机主要面向科学计算程序,而近年来应用的多样化对超级计算机的软硬件设计提出了新要求。该文在新一代神威超级计算机上发现了在动态运行模式下内存分配的性能问题,并针对神威的体系结构特征和应用特征,设计了高效的内存分配器——SWAlloc。实验结果表明:SWAlloc可以将超大规模机器学习训练框架八卦炉的内存分配速度提升至多75 839倍;对随机生成的内存分配记录和标准测试程序集PARSEC中的内存分配记录的测试结果,验证了SWAlloc在不同应用上的通用性和高效性,可将神威超级计算机上PARSEC的内存分配效率提升至多51倍(平均提升36%)。SWAlloc已经布署于新一代神威超级计算机上,并用于SWPytorch、 SWTensorFlow等超大规模应用。

摘要：华为昇腾是一款新型神经网络加速器.与GPU相比,昇腾加速器专门面向神经网络计算,设计了专用计算单元,核心算力集中在低精度,基于昇腾的软件栈与GPU有所差异.现有研究大多专注于GPU上的深度学习负载性能分析和优化,由于昇腾平台推出不久且具有新的体系结构特征,其实际表现仍有待探索.为深入挖掘昇腾的性能和优化方法,本文对其进行了系统性的评测和分析,包括:(1)基于标准数据集在四个端到端神经网络(ResNet、Transformer、DeepFM和LSTM)上对昇腾和GPU的性能和功耗进行了对比;(2)研究了昇腾上深度学习框架、算子和混合精度训练优化策略;(3)测试三个计算密集型算子(全连接、卷积和RNN)的浮点计算能力、硬件利用率和访存性能.评测结果表明:华为昇腾加速器适合进行稠密型神经网络工作负载,且功耗低于GPU;使用昇腾进行模型训练,需要将神经网络模型从32位精度量化到16位精度.针对昇腾的体系结构和编译软件栈特点,本文提出如下优化策略:深度学习框架开发时应进行整图编译构建,进行算子融合;算子开发时应合理设置分块大小,尽量使用低精度实现算子;模型训练时要合理设置混合精度参数.