基于磁盘I/O性能的Hadoop任务选择策略

作     者：李强 孙震宇 雷晓凤 孙功星 LI Qiang;SUN Zhenyu;LEI Xiaofeng;SUN Gongxing

作者机构：中国科学院高能物理研究所北京100049 中国科学院大学北京100049 

基　　金：国家自然科学基金(11375223 11375221) 国家自然科学基金委员会-中国科学院大科学装置联合基金(11179020) 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2016年第42卷第11期

页      码：76-82页

摘      要：最大化利用本地磁盘的I/O资源是提升计算集群性能的关键,但Hadoop系统中多数调度算法未考虑此项因素。为此,引入磁盘负载作为Map任务选择的权衡参数,任务调度时参照磁盘负载程度选择合适的任务,以保证数据节点上各磁盘的负载相对均衡,并据此设计新的任务选择模块集成到Hadoop的调度器中。同时为进一步提升Hadoop系统的性能,实现Map作业的近似完全本地化执行。实验结果表明,该任务选择策略能够充分利用数据节点本地磁盘的I/O资源,可使节点的I/O Wait平均降低5%,CPU利用率平均上升15%,作业的执行时间缩短20%。

主 题 词：Hadoop系统 调度算法 数据本地性 任务选择策略 磁盘负载 I/O性能 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1000-3428.2016.11.013

馆 藏 号：203208371...