Hadoop集群中给定候选任务集的最大利润问题

作     者：郑羽 胡积宝 ZHENG Yu;HU Ji-bao

作者机构：安庆师范大学现代教育技术中心安徽安庆246011 安庆师范大学物理与电气工程学院安徽安庆246133 

基　　金：安徽省2016年高校自然科学基金重点项目(KJ2016A430) 

出 版 物：《计算机技术与发展》 (Computer Technology and Development)

年 卷 期：2018年第28卷第12期

页      码：194-199页

摘      要：随着计算机网络和传感器网络的迅速发展,数据呈指数级增长,特别是在因特网上。为了有效地处理大规模数据,需要具有良好的可伸缩性、灵活性和容错性的并行分布式集群。目前,许多企业基于自己的Hadoop集群提供云服务。因为单个Hadoop集群的资源是有限的,Hadoop集群必须将有限的资源分配给一些特殊的任务以获得最大的利益。文中研究给定候选任务集的最大利润问题。用有效的序列描述候选任务集,并提出了一种基于序列的调度策略。为了提高查找有效序列的效率,设计了一些修剪策略,并给出了相应的调度算法。最后,在某些任务运行超时的情况下,提出了超时处理算法。实验结果表明,该算法的总收益非常接近理想的最大值,在不同的实验环境下明显优于相关的调度算法。

主 题 词：MapReduce 任务集 调度算法 利润 大数据 

学科分类：08[工学] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1673-629X.2018.12.041

馆 藏 号：203424255...