一种基于RDMA多播机制的分布式持久性内存文件系统

作     者：陈茂棠 郑圣安 游理通 王晶钰 闫田 屠要峰 韩银俊 黄林鹏 Chen Maotang;Zheng Sheng'an;You Litong;Wang Jingyu;Yan Tian;Tu Yaofeng;Han Yinjun;Huang Linpeng

作者机构：上海交通大学计算机科学与工程系上海200240 清华大学计算机科学与技术系北京100084 中兴通讯股份有限公司南京210012 

基　　金：国家重点研发计划项目(2018YFB1003302) 上海交通大学-华为联合实验室项目(FA2018091021-202004) 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2021年第58卷第2期

页      码：384-396页

摘      要：持久性内存技术与远程直接内存访问(remote direct memory access,RDMA)技术的发展,为高效分布式系统的设计提供了新的思路.然而,现有的基于RDMA的分布式系统没有充分利用RDMA的多播能力,难以解决1对多传输场景下的多拷贝文件数据传输问题,严重影响了系统性能.针对此问题,提出一种基于RDMA多播机制的分布式持久性内存文件系统(RDMA multicast transmission based distributed persistent memory file system,MTFS),通过低延迟多播通信机制充分利用RDMA多播能力,将数据高效传输到多个数据节点,从而避免了多拷贝传输操作带来的高延迟.为提升传输操作灵活性,MTFS设计了多模式多播远程过程调用(remote procedure call,RPC)机制,实现了RPC请求自适应识别,并通过优化返回机制将部分传输操作移出关键路径,进一步提升传输效率.同时MTFS提供了轻量级一致性保障机制,通过设计故障恢复功能、数据校验系统、重传策略与窗口机制,当节点出现崩溃时进行快速恢复,并在传输出现错误时实现数据精准检测与纠正,保证了数据的可靠性和一致性.实验证明,MTFS在各测试集上相比现有系统GlusterFS吞吐量提升了10.2~219倍.在Redis数据库的工作负载下,MTFS相比于NOVA取得了最高10.7%的性能提升,并在多线程测试中取得了良好的可扩展性.

主 题 词：持久性内存 远程直接内存访问 多播 分布式文件系统 远程过程调用 

学科分类：0810[工学-土木类] 0808[工学-自动化类] 0839[0839] 081203[081203] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.7544/issn1000-1239.2021.20200369

馆 藏 号：203101972...