摘要：为在全比较(ATAC)问题的分布式计算中达到较高的性能,提出一种基于任务驱动启发式的数据分发策略,充分考虑分布式环境中的存储使用、数据本地性和负载平衡。提出两个分发数据的启发式规则;根据相关约束条件和任务需求,所有的数据项均可在本地进行处理,使对于所有计算任务均具备良好的数据本地性。实验结果表明,对于64个节点的集群,所提策略实现了80%的存储节约量和100%的数据本地性,获得了理想化线性加速的89%。所提策略在ATAC问题的分布式计算中达到了较高性能。

摘要：由于已有的延迟调度算法基于静态的等待时间阈值,因此不能适应云计算数据中心动态的负载变化。针对该问题,提出了等待时间阈值自适应调整模型。基于该模型,设计了自适应延迟调度算法(ADS)。ADS算法通过分析空闲计算节点的到达强度、网络带宽和作业执行状态等参数,自适应调整等待时间阈值,以减少作业响应时间。基于开发的原型系统,验证了自适应调整模型,测试了算法性能。结果表明,ADS算法在作业响应时间等方面优于已有的延迟调度算法。

摘要：Hadoop是用于存储和处理大规模数据的基础架构和软件。MapReduce是Hadoop的一个JAVA程序设计框架模型,遵循MapReduce框架开发的应用程序可以在集群中的节点上并行执行。作业调度器是Hadoop系统中的重要组件。文章中,作者阐述了Hadoop中常见的三种调度器,并重点讨论了公平调度算法。通过分析公平调度算法在调度小型作业时容易影响整个集群吞吐量的原因,提出了一种改进的公平调度算法,并通过实验证明改进后的公平调度算法对整个集群的平均吞吐率有明显的提高。

摘要：针对Hadoop平台上调度算法存在的不足,提出了一种改进的调度算法———Triple-Queue算法。在充分考虑数据的本地性后,Triple-Queue算法设计了一种改进的优先级计算模型,以有效地区分用户作业的等级,同时又保证一定程度的公平性,进而减小作业执行时间,避免系统资源浪费。实验结果表明,随着数据量的提高,该算法执行效率明显提高,同时能够较好地解决数据本地性问题。

摘要：最大化利用本地磁盘的I/O资源是提升计算集群性能的关键,但Hadoop系统中多数调度算法未考虑此项因素。为此,引入磁盘负载作为Map任务选择的权衡参数,任务调度时参照磁盘负载程度选择合适的任务,以保证数据节点上各磁盘的负载相对均衡,并据此设计新的任务选择模块集成到Hadoop的调度器中。同时为进一步提升Hadoop系统的性能,实现Map作业的近似完全本地化执行。实验结果表明,该任务选择策略能够充分利用数据节点本地磁盘的I/O资源,可使节点的I/O Wait平均降低5%,CPU利用率平均上升15%,作业的执行时间缩短20%。

摘要：在Hadoop集群环境下本地性调度算法是提高数据本地性的算法。本地性调度算法的调度策略的本质是提高数据本地性,减少网络传输开销,避免阻塞。但是由于Map任务的完成时间不同,Reduce任务存在的等待现象影响了作业的平均完成时间,使得作业的完成时间增加,进而引起系统的性能参数不佳。因此提出在保留原算法数据本地性要求的基础上集成可抢占式的调度方法。在Reduce任务等待时,挂起该任务并释放资源给其他Map任务,当Map任务完成到一定程度后,重新调度Reduce任务。基于上述调度策略设计了集成抢占式策略的本地性调度。为了对改进的算法进行验证,通过实验对本地性调度算法和集成抢占式本地性调度算法进行比较。实验结果表明,在相同数据上,集成抢占式本地性调度算法的平均完成时间有明显的降低。