面向磁盘驻留的类Pregel系统的多级容错处理机制

作     者：毕亚辉 姜苏洋 王志刚 冷芳玲 鲍玉斌 于戈 钱岭 Bi Yahui;Jiang Suyang;Wang Zhigang;Leng Fangling;Bao Yubin;Yu Ge;Qian Ling

作者机构：东北大学计算机科学与工程学院沈阳110819 中国移动(苏州)软件技术有限公司江苏苏州215163 

基　　金：国家自然科学基金重点项目(61433008) 国家自然科学基金项目(61173028,61272179) 中央高校基本科研业务费专项基金项目(N100704001) 教育部-中国移动科研基金项目(MCM20125021) 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2016年第53卷第11期

页      码：2530-2541页

摘      要：基于BSP模型的分布式框架已经成为大规模图高频迭代处理的有效工具.分布式系统可以通过增加集群节点数量的方式提供弹性的处理能力,但同时也增加了故障发生的概率,因此亟需开发高效的容错处理机制.现有工作主要是基于检查点机制展开研究,包括数据备份和故障恢复2部分:前者没有考虑迭代过程中参与计算的数据规模的动态变化,而是备份所有图数据,因此引入了冗余数据的写开销;后者通常是从远程存储节点上读取备份数据进行故障恢复,而没有考虑利用本地磁盘数据恢复某些场景下的故障,引入额外的网络开销.因此提出了一种多级容错处理机制,将故障分为计算任务故障和计算节点故障2类,并设计了不同的备份和恢复策略.备份阶段利用了某些应用在迭代计算过程中参与计算的数据规模的动态变化特性,设计了完全备份和写变化log自适应选择的策略,可以显著减少冗余数据的写开销.故障恢复阶段,对任务故障,利用本地磁盘上保留的图数据和远程的消息数据完成恢复;而对节点故障,则利用备份在远程信息进行恢复.最后,通过在真实数据集上的大量实验,验证了提出的多级容错机制的有效性.

主 题 词：容错 大规模图 迭代计算 BSP模型 检查点 

学科分类：0810[工学-土木类] 12[管理学] 1201[管理学-管理科学与工程类] 0808[工学-自动化类] 0839[0839] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.7544/issn1000-1239.2016.20150619

馆 藏 号：203208498...