摘要：Ring all-reduce算法被广泛应用在分布式机器学习之中,其同步过程会受到慢节点的影响进而降低整个系统的效率。对Ring all-reduce中的Reduce_Scatter和Allgather 2个阶段进行分析,针对Reduce_Scatter数据汇总过程提出优化策略,其主要思想是将慢节点多出的计算时间与通信时间进行重叠。使用OMNet++对Ring all-reduce和优化策略进行对比仿真,仿真结果与理论分析相一致,该策略相比Ring all-reduce算法最高能缩短25.3%的训练时间。

摘要：通过分析分布式机器学习中作业性能干扰的问题,发现性能干扰是由于内存过载、带宽竞争等GPU资源分配不均导致的,为此设计并实现了快速预测作业间性能干扰的机制,该预测机制能够根据给定的GPU参数和作业类型自适应地预测作业干扰程度。首先,通过实验获取分布式机器学习作业运行时的GPU参数和干扰率,并分析出各类参数对性能干扰的影响;其次,依托多种预测技术建立GPU参数-干扰率模型进行作业干扰率误差分析;最后,建立自适应的作业干扰率预测算法,面向给定的设备环境和作业集合自动选择误差最小的预测模型,快速、准确地预测作业干扰率。选取5种常用的神经网络作业,在两种GPU设备上设计实验并进行结果分析。结果显示,所提出的自适应干扰预测(AIP)机制能够在不提供任何预先假设信息的前提下快速完成预测模型的选择和性能干扰预测,耗时在300 s以内,预测干扰率误差在2%~13%,可应用于作业调度和负载均衡等场景。

摘要：安全问题是无线传感器网络应用的关键问题之一。设计了一种基于分布式机器学习的异常检测方案。该方案利用K最近邻算法对传感器网络节点进行分簇,时簇内节点的异常检测采用贝叶斯分类算法,对簇头节点的异常检测采用基于平均概率的方法。利用网络仿真工具NS2构建了入侵检测规则、模拟了网络攻击场景,在此基础上,通过仿真评估了方案的检测率、平均检测率、误检率和平均误检率等性能。仿真实验结果表明,该方案与当前典型的无线传感器网络入侵检测方案相比具有较高的检测率和较低的误检率。

摘要：分布式机器学习作为人工智能的主流计算架构,目前仍然存在数据性能传输不高、模型训练速度慢等缺陷,传统的网络模态无法满足分布式机器学习场景的通信语义,继而无法解决这些缺陷以进一步提升模型训练性能。采用多模态网络技术,基于应用特点设计了面向分布式机器学习场景的新型网络模态及其运行逻辑,为多模态网络技术在垂直行业的应用提供了借鉴意义。

摘要：为了提高分布式机器学习训练的性能,提出了一种计算节点的激励策略。首先,分别建立了计算节点效用最大化问题和服务器成本最小化问题,并设计了最优算法对优化问题进行求解。面对网络的动态性和计算节点的隐私保护需求,提出了一种基于深度强化学习的激励策略,该策略可以自动学习最佳的定价策略。最后使用真实的移动轨迹数据集进行实验,以评估本策略的性能。实验结果表明,与现有的算法相比,本策略具有优越性。

摘要：联邦学习作为一种分布式机器学习框架,客户端可以在不向服务器传输数据的情况下进行全局模型训练,解决了数据分散和数据隐私的问题.联邦学习可以在具有相似数据特征和分布的客户端上很好地工作.但是在很多场景中,客户端数据在分布、数量和概念上的不同,造成了全局模型训练困难.为此,个性化联邦学习作为一种新的联邦学习范式被提出,它旨在通过客户端与服务器的协作来保证客户端个性化模型的有效性.直观来讲,为具有相似数据特征和分布的客户端提供更紧密的协作关系可以有利于个性化模型的构建.然而,由于客户端数据的不可见性,如何细粒度地提取客户端特征,并定义它们之间的协作关系是一个挑战.设计了一个注意力增强元学习网络(attention-enhanced meta-learning network,AMN)来解决这个问题.AMN可以利用客户基础模型参数作为输入特征,训练元学习网络为每个客户端提供一个额外的元模型,自动分析客户特征相似性.基于双层网络设计,有效地实现客户端个性与共性的权衡,提供了包含有益客户信息的融合模型.考虑到训练过程中需要同时训练元学习网络和客户本地基础网络,设计了一种交替训练策略,以端到端的方式进行训练.为了证明该方法的有效性,在2个基准数据集和8种基准方法上进行了大量实验,相较于现有表现最优的个性化联邦学习方法,该方法在2个数据集中平均分别提升了3.39%和2.45%的模型性能.

摘要：联邦学习作为一种分布式机器学习,有效地解决了大数据时代的数据共享难题。其中,跨机构联邦学习是机构之间互相合作的一种联邦学习类型。如何在跨机构合作的过程中设计合理的激励机制十分重要。文中从跨机构合作的角度,对现有的跨机构联邦学习的激励机制研究进行了综述。首先介绍跨机构合作过程中的3个基本问题,即高隐私性、数据异质性、公平性,然后分析了以全局模型为中心和以参与者为中心这两种不同的跨机构合作模式下的激励机制设计方法,最后总结了影响跨机构合作稳定发展的几个影响因素,即参与者的数据演变、参与者合作关系变动和参与者的负面行为,并展望了跨机构联邦合作的未来方向。

摘要：联邦学习是分布式机器学习在现实中的应用之一。针对联邦学习中的异构性,基于FedProx算法,提出优先选择近端项较大的客户端选择策略,效果优于常见的选择局部损失值较大的客户端选择策略,可以有效提高FedProx算法在异构数据和系统下的收敛速度,提高有限聚合次数内的准确率。针对联邦学习数据异构的假设,设计了一套异构数据划分流程,得到了基于真实图像数据集的异构联邦数据集作为实验数据集。使用开源的分布式机器学习框架Edge-TB作为实验测试平台,以异构划分后的Cifar10作为数据集,实验表明,采用新的客户端选择策略的改进FedProx算法较原算法在有限的聚合轮数内准确率提升14.96%,通信开销减小6.3%;与SCAFFOLD算法相比,准确率提升3.6%,通信开销减小51.7%,训练时间减少15.4%。

摘要：针对分布式神经网络训练在异构环境中训练速度慢、资源利用率低的问题,提出一种异构环境感知的分布式神经网络训练模型(H-PS)。根据计算节点当前状态动态调度训练任务,使计算节点能够在相同时间完成训练任务,提高资源利用率。提出通信与计算并行策略,参数服务器与计算节点传输模型参数期间,计算节点持续模型计算,进一步提高资源利用率。使用灵活的量化策略,压缩神经网络模型参数,减少参数服务器与计算节点的通信开销。使用新兴的容器集群进行实验,结果表明,与现有方法相比,H-PS训练时间缩短1.4~3.5倍。

摘要：论述了大数据处理技术的最新研究进展。首先,为了便于从整体上了解研究现状,从负载类型和数据类型两个角度对目前的大数据处理系统进行了分类;其次,深入介绍了批处理编程框架的研究进展,重点讨论了面向大规模图分析、分布式机器学习等应用领域的编程框架,包括计算特点、面临的挑战和设计原理等;最后,对大数据的研究热点和趋势进行了展望,指出异构硬件平台的并行训练、串行代码的自动化并行以及混合编程是未来大数据处理技术的研究热点。