摘要：在分布式深度学习训练中,聚合通信是主要的通信方式。在聚合通信优化的研究中,有软件层面的优化和硬件层面的优化。SHARP是Mellanox提出来的一种聚合通信网络卸载协议,是针对聚合通信在硬件上的优化,其将聚合操作卸载到网络中的交换机,进而缩短了聚合通信时间。在Gloo的基础上集成了SHARP技术,设计并实现了一个能够利用在网计算技术来加速分布式深度学习训练的聚合通信库——Gloo+。评估并比较了Gloo+、Gloo以及MPI中聚合操作的性能,并将Gloo+应用于分布式深度学习训练中,以此来检验其实战能力。对Gloo+的实验评估结果显示,在基准测试时,在消息大小较小的情况下,Gloo+相对于Gloo的加速比最高能达到100以上;相比于以太网模式下的MPI,其加速比最高也能达到50以上;相比于IB网模式下的MPI,其加速比在10以内。在分布式深度学习训练的实际应用中,Gloo+相比于Gloo加速比最高能达到1.1,相比于以太网模式下的MPI加速比最高有1.3,相比于IB网模式下的MPI加速比最高有0.5。

摘要：聚合通信操作在分布式训练中应用广泛,特别是AllReduce操作被用于同步每个节点上模型的参数。为了获得更高的精度,数据集和神经网络模型的规模越来越大,节点间的通信开销在训练过程中占比很大且已成为训练加速的瓶颈。目前已有许多针对这一场景下聚合操作的优化工作,但都聚焦于操作的合理使用而不是其本身,例如通信调度和梯度量化。事实上,聚合操作与分布式训练应用之间存在许多不相匹配的地方,比如后者不要求所有节点同时同步梯度,而前者却需要。这使得针对分布式训练中聚合通信的研究是有必要的。然而发现目前分布式训练中的通信框架结构复杂、代码量大,对开展相关工作来说是不合适的。为了解决这一问题,设计并实现了一个轻量级的聚合通信库,以方便分析和改进分布式训练中的聚合操作。它支持主流框架和网络,并且架构简洁。这便于研究人员实现自定义通信操作,并能应用到主流的实验环境中以产生较广的影响。在多种情况下分别通过纯聚合操作和分布式深度学习应用来评估所设计的聚合通信库。实验结果显示,该库可以实现与MPI相近的性能,可以作为分析和研究分布式训练中梯度同步的聚合通信库。

摘要：片上网络(network-on-chip,NoC)消耗的功耗在整个芯片中所占比例不断增大,并且随着芯片工艺精度的提升和工作电压的不断降低,静态功耗占片上网络总功耗的比例也越来越大.当前芯片设计者致力于将未被使用的核设置为休眠状态来降低功耗.然而,即便是最前沿的芯片设计,当核休眠时与它连接的路由器都是保持在正常状态来进行报文传输.而与休眠核相连的片上网络路由器由于没有注入和吸收的报文,负载相对较低.在SMART(single-cycle multi-hop asynchronous repeated traversal)片上网络中,报文能够单周期从源路由器到目标路由器.基于单周期多跳旁路(SMART)技术,提出一种关闭低负载路由器虚通道的策略P-SMART,以在不影响网络性能的情况下节省片上网络功耗.实验结果表明:相对于SMART技术,P-SMART的性能损失不超过2%,而功耗节省13.4%.

摘要：随着高性能计算、大数据处理、云计算和人工智能计算呈融合发展趋势,高性能计算网络和数据中心网络的融合网络成为互连网络发展的重要趋势。分析当前融合网络研究现状;针对当前最具代表性的融合网络进行详细阐述,全面展示该领域的最新技术和动态;提出融合网络面临的技术挑战;基于技术挑战对融合网络的发展趋势进行展望,包括融合网络协议栈设计中融合与分化并存、基于在网计算实现融合网络性能加速、面向新兴应用需求优化融合网络性能。

摘要：构建平面拓扑结构是无线传感器网络中一个重要的问题,它是设计许多高效网络协议的基础。传感器网络中许多重要的协议和应用都依赖于平面拓扑结构,比如著名的地理路由协议GPSR、GOAFR等。目前的平面化技术往往都需要网络中节点具有精确的位置测量信息。精确的位置或测距信息在资源受限的传感器网络中往往很难得到,因此基于位置的平面化技术的可应用性受到了很大的限制。设计有效的位置无关的平面化算法成为目前平面化技术研究面临的重要问题。本文提出了一种新的位置无关的分布式平面化算法。该方法仅基于网络的通讯连接关系信息,且运行复杂度低,便于分布式执行。本文通过证明确保所构建拓扑的平面性,并通过仿真实验验证了算法在随机生成网络中的有效性。

摘要：高速互连网络是高性能计算系统的重要组成部分.随着网络规模需求的扩大,如何搭建更大规模的网络是高速互连网络拓扑结构设计的关键.因此,提出一种新型层次化的拓扑结构Paleyfly(PF),其结合了Paley图强正则的特性和Random Regular(RR)图支持任意规模大小的特点.相比其他新型高速互连网络拓扑结构,Paleyfly能够有效解决在路由芯片端口数受限的背景下,Dragonfly(DF)可扩展性受限、Fat tree(Ft)物理成本高、RR结构物理布局难、路由表规模大等问题.同时,根据强正则属性在路由策略上负载均衡的优势,提出了4种路由策略来解决网络的拥塞问题.最后,通过模拟器实验比较分析PF结构与其他拓扑结构及PF结构不同路由策略的性能,验证了PF结构在不同规模以及不同通信模式配置下网络延迟优于RR结构.

摘要：随着高速信号传输技术和VLSI技术的发展,使用高阶路由器来应对因高性能计算机峰值性能不断攀升给高性能互连网络带来的新挑战已是发展需求;同时,如何利用高阶特性减少互连网络延迟和成本开销,以支持更大的网络规模是设计高性能互连网络拓扑结构的关键和突破点。针对目前基于高阶路由器的典型拓扑结构进行了分析,并在此基础上提出一个新的高阶拓扑架构SuperStar,其不仅具有较短的网络直径而且具有良好的可扩展性;通过在一个基于OMNeT++平台自主开发的高阶互连网络性能测评模拟器上设定不同的通信负载,测评各种拓扑结构在通信系统下实际的网络延迟和吞吐率的走势,以分析SuperStar的通信开销。

摘要：片上互连网络为多核体系结构提供了高效的通信支持。目前的片上网络通常采用单向传输链路,链路资源利用率较低。为了实现链路带宽资源高效分配、进而高效利用链路带宽资源,提出了一种新的双向链路调度算法,并设计了一种支持此算法的双向链路路由器。这种新型的路由器结构能够在不影响路由原有数据通道条件下,提供一条旁路数据通道来快速传输数据。实验结果表明,应用该双向链路路由器可使Mesh网络饱和吞吐率和链路平均利用率分别得到最大83.3%和24.53%的提升。

摘要：随着高性能互连网络规模的增大,如何通过互连网络拓扑结构的设计来提升系统的性能和降低物理开销成为了系统设计的关键之一。传统的拓扑结构(可分为直接网络和间接网络)在网络规模增加时,不能很好地折衷网络性能和物理开销的关系。2012年Roberto P等人提出一种新型混合的拓扑结构,结合了直接网络和间接网络的特点,有效考虑了物理开销和网络性能的折衷。在此基础上,将新型混合拓扑每一维上的唯一的一个间接网络优化为多个间接网络,经过理论分析和实验模拟新型混合拓扑结构优化后的混合拓扑结构以及较常用的传统拓扑结构,优化后的混合拓扑结构能够在提升网络性能的同时降低物理开销。

摘要：随着高性能网络规模的增加,高阶路由器结构设计成为高性能计算中研究的重点和热点。使用高阶路由器,网络能实现更低的报文传输延迟、网络构建成本和网络功耗,同时高阶路由器的应用还可以提高网络可靠性。过去十年是高阶路由器发展最快的时期,对近年高阶路由器的研究进行了综述,并对未来发展趋势进行了预测,主要介绍了以YARC为代表的经典结构化设计以及"network within a network"等近年来涌现的新型设计方法。未来的研究重点是解决高阶路由器结构设计中遇到的缓存和仲裁等各种问题,并利用光互连等技术设计性能更好的结构。