异构环境中HDFS数据块调度算法的设计与实现

作     者：高原 任升 顾文杰 GAO Yuan;REN Sheng;GU Wenjie

作者机构：南瑞集团公司(国网电力科学研究院)南京211106 国电南瑞科技股份有限公司南京211106 智能电网保护和运行控制国家重点实验室南京211106 

基　　金：国家电网公司科技项目"超大规模电网调控系统集群化关键技术研究" 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2017年第34卷第8期

页      码：82-89页

摘      要：针对Hadoop分布式文件系统(HDFS)的写性能在执行效率上的不足,提出一种在节点性能异构环境中对HDFS数据块进行并发传输的调度算法。该算法实时监控HDFS集群中每个节点的资源状态和内存缓存队列,动态地将接收节点与转发节点进行配对传输,使全系统节点的网卡和磁盘并发工作,缩短了所有副本写入分布式文件系统的时间。将数据写入磁盘后请求下一个数据块,保证数据安全性,同时也使得各个节点获得与自身性能相匹配的副本数,使性能异构的系统能达到较高的写入速度。性能测试结果表明,使用该算法的分布式文件系统的写入性能较原始的HDFS提高了1倍。

主 题 词：异构 Hadoop分布式文件系统 并发 数据块 调度 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1000-3428.2017.08.014

馆 藏 号：203260383...