Hadoop集群作业调度算法优化技术研究

作     者：单冬红 郭静博 赵伟艇 SHAN Donghong;GUO Jingbo;ZHAO Weiting

作者机构：河南平顶山学院软件学院河南平顶山467002 

基　　金：河南省科技厅计划项目:基于决策树和遗传神经网络的房地产预警系统研究:(132102310516) 平顶山学院青年基金项目:基于神经网络的软件故障定位研究(PDSU-QNJJ-2013002) 

出 版 物：《现代电子技术》 (Modern Electronics Technique)

年 卷 期：2016年第39卷第6期

页      码：25-29页

摘      要：针对当前云计算技术的广泛使用,提出对Hadoop集群作业调度算法进行研究的构想。在对Hadoop新版本中提出的Hadoop Map Reduce V2(Yarn)框架进行深入研究的基础上,设计一个详细完整的对比实验,针对各种作业调度算法的优势与不足进行全面的测试。通过使用不同的作业调度算法运行相同的作业,进行细致横向的对比,并得到各种作业调度算法之间以及计算框架之间在计算能力、运行时间、资源占用等方面的优劣。实验结果表明,公平调度算法和计算能力调度算法相较于传统的FIFO算法具有更灵活、更高效的特点。

主 题 词：云计算 Hadoop HDFS 作业调度 集群 

学科分类：11[军事学] 0810[工学-土木类] 1105[1105] 08[工学] 081002[081002] 110503[110503] 

D　O　I：10.16652/j.issn.1004-373x.2016.06.007

馆 藏 号：203582463...