HDFS中高效存储小文件的方法

作     者：尹颖 林庆 林涵阳 YIN Ying;LIN Qing;LIN Han-yang

作者机构：江苏大学计算机科学与通信工程学院江苏镇江212013 南京理工大学计算机系江苏南京210094 江苏实达迪美数据处理有限公司江苏昆山215332 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2015年第36卷第2期

页      码：406-409页

摘      要：为改善应用Hadoop分布式文件系统存储大量小文件时效率低下的问题,将NameNode职责分离,使用单独的NFS服务器同步存储元数据信息,以降低Client数据请求压力,提供大吞吐量数据访问并改善访问延迟;设计文件与数据块的对应模式,允许在同一块中存储多个小文件,并对系统加以实现,为海量小文件的存储提供了一个有效的解决方案。实验结果表明,该机制可以在数据迅速增长的背景下实现海量小文件的高效存取。

主 题 词：Hadoop分布式文件系统 海量小文件 性能优化 职责分离 合并小文件 

学科分类：08[工学] 081201[081201] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2015.02.024

馆 藏 号：203172564...