HDFS数据存放策略的研究与改进

作     者：罗鹏 龚勋 LUO Peng;GONG Xun

作者机构：四川大学计算机学院四川成都610065 

基　　金：国家自然科学基金项目(61173159) 教育部重大项目培育基金项目(708075) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2014年第35卷第4期

页      码：1127-1131页

摘      要：为了改善HDFS中集群负载的均衡性,提高数据节点的资源利用率,提出了一种改进的数据存放策略。在HDFS原始策略的基础上充分考虑了节点的差异性,通过采集数据节点的CPU负载、内存负载、网络负载和存储空间负载,引入负载因子计算数据的存放成本,以选择一个最优的数据节点存放数据。实验结果表明,改进后的策略优化了集群负载的均衡性,提高了数据块副本的传输性能。

主 题 词：Hadoop分布式文件系统 数据存放策略 机架感知 数据块副本 负载均衡 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 08[工学] 081201[081201] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1000-7024.2014.04.002

馆 藏 号：203138100...