SFFS:低延迟的面向小文件的分布式文件系统

作     者：王鲁俊 龙翔 吴兴博 王雷 WANG Lujun;LONG Xiang;WU Xingbo;WANG Lei

作者机构：北京航空航天大学计算机学院北京100191 

基　　金：国家自然科学基金Grant No.61272167 国家高技术研究发展计划(863计划)Grant No.2011AA01A204 国家科技重大专项"核高基"项目Grant No.2012ZX01039-004~~ 

出 版 物：《计算机科学与探索》 (Journal of Frontiers of Computer Science and Technology)

年 卷 期：2014年第8卷第4期

页      码：438-445页

摘      要：社交网站和电子商务等网络服务发展迅速,这类服务需要存储大量图片、音乐、微博文本等小文件。传统的分布式存储系统,如HDFS(Hadoop distributed file system),是面向大文件而设计的,在存储小文件时会产生元数据开销过大,访问延迟较高等问题,不能适应存储海量小文件的应用环境。分析了TFS(Taobao file system)的系统架构和读写流程,发现TFS在每次读/写过程中至少要建立3次网络连接,增大了读写延迟。针对海量小文件存储带来的挑战和TFS存在的问题,提出了一种新的低延迟、高可用的面向海量小文件的分布式存储方案,并实现了分布式文件系统SFFS(small-file file system)。性能测试表明,SFFS和TFS相比,写延迟降低了76.6%,读延迟降低了约10%。通过对系统结构的分析,相比于TFS,SFFS在中心节点的负载更轻,失效恢复更快,在可用性方面更有优势。

主 题 词：小文件 低延迟高可用 分布式存储 

学科分类：08[工学] 081201[081201] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3778/j.issn.1673-9418.1311014

馆 藏 号：203124262...