MDDS:一种面向高性能计算的并行文件系统元数据性能提升方法

作     者：陈起 陈左宁 蒋金虎 Chen Qi;Chen Zuoning;Jiang Jinhu

作者机构：江南计算技术研究所江苏无锡214083 

基　　金：国家"八六三"高技术研究发展计划基金项目(2011BAH04B03 2013AA013203) 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2014年第51卷第8期

页      码：1663-1670页

摘      要：随着计算能力的增强、应用课题规模和复杂度的增加,高性能计算机对并行文件系统性能要求越来越高.在海量小文件和大规模并发I/O操作的应用场景中,文件系统元数据的吞吐率成为限制其性能的关键因素.设计并实现了元数据代理(meta data delegation service,MDDS),通过降低元数据服务间的耦合度,保证元数据集群的高可用性;使用目录子树方式管理元数据代理空间,避免跨节点目录引入的分布式原子操作的复杂性和低效性.并针对高性能计算中I/O转发架构,提出基于元数据代理的两种作业调度策略——单作业独占单元数据代理调度和多作业共享多元数据代理调度——实现作业间和作业内的负载均衡.在116台存储服务器上对MDDS进行评估,实验结果表明,元数据代理提供了拟线性的元数据性能,在大规模的环境中较Lustre CMD方案有较好的扩展性;两种调度方式有效分散了作业元数据的负载,改善了高性能计算中的元数据瓶颈问题.

主 题 词：高性能计算 并行文件系统 元数据代理 I O转发 负载均衡 

学科分类：0810[工学-土木类] 0808[工学-自动化类] 0839[0839] 08[工学] 0835[0835] 0811[工学-水利类] 081201[081201] 0812[工学-测绘类] 

核心收录：

D　O　I：10.7544/issn1000-1239.2014.20121094

馆 藏 号：203139666...