大数据存储架构和算法研究综述

作     者：杨俊杰 廖卓凡 冯超超 YANG Junjie;LIAO Zhuofan;FENG Chaochao

作者机构：长沙理工大学计算机与通信工程学院长沙410114 长沙理工大学综合交通运输大数据智能处理湖南省重点实验室长沙410114 国防科技大学计算机学院长沙410073 

基　　金：国家自然科学基金资助项目(61402056,61303066) 湖南省教育厅科研项目(14C0030) 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2016年第36卷第9期

页      码：2465-2471页

摘      要：随着大数据计算需求的增长,集群的处理速度需要得到快速的提升,然而目前大数据处理框架的处理性能已逐渐满足不了这种快速增长的需求。由于集群的存储架构是分布式存储,因此数据的存放在大数据处理过程中成为影响集群的处理性能的因素之一。首先,对当今的分布式文件存储系统的结构进行了介绍;接着,根据不同的优化目标,例如减少网络负载、负载均衡、降低能耗和高容错性等,对近年国内外大数据存储算法的研究进行了总结,分析和对比了已有算法的优点以及存在的问题;最后,对大数据存储架构和优化算法设计的挑战和未来研究方向作了展望。

主 题 词：大数据 数据部署 分布式文件系统 MapReduce Hadoop 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 08[工学] 081201[081201] 0812[工学-测绘类] 

D　O　I：10.11772/j.issn.1001-9081.2016.09.2465

馆 藏 号：203190015...