摘要：MapReduce是一种适用于大规模数据密集型应用的有效编程模型,具有编程简单、易于扩展、容错性好等特点,已在并行和分布式计算领域得到了广泛且成功的应用.由于MapReduce将计算扩展到大规模的机器集群上,处理数据的合理放置成为影响MapReduce集群系统性能(包括能耗、资源利用率、通信和I/O代价、响应时间、系统的可靠性和吞吐率等)的关键因素之一.首先,对MapReduce编程模型的典型实现——Hadoop缺省的数据放置策略进行分析,并进一步讨论了MapReduce框架下,设计数据放置策略时需考虑的关键问题和衡量数据放置策略的标准;其次,对目前MapReduce集群环境下的数据放置策略优化方法的研究与进展进行了综述和分析;最后,分析和归纳了MapReduce集群环境下数据放置策略的下一步研究工作.

摘要：分布式存储系统作为数据存储的载体,广泛应用于大数据领域.纠删码存储方式相对副本方式,既具有较高的空间利用效率,又能保证数据存储的可靠性,因此被越来多的应用于存储系统当中.在EB级大规模纠删码分布式存储系统中,元数据管理成本较大,位置信息等元数据查询效率影响了I O时延和吞吐量.基于位置信息记录的有中心数据放置算法需要频繁访问元数据服务器,导致性能优化受限,基于Hash映射的无中心数据放置算法越来越多地得到应用.但面向纠删码的无中心放置算法,在节点变更和数据恢复过程中,存在位置变更困难、迁移数据量大、数据恢复和迁移并发度低等问题.提出了一种基于条带的一致性Hash数据放置算法(consistent Hash data placement algorithm based on stripe,SCHash),SCHash以条带为单位放置数据,通过把数据块到节点的映射转化为条带到节点组的映射过程,减少节点变动过程中的数据迁移量,从而在恢复过程中降低了变动数据的比例,加速了恢复带宽.并基于SCHash算法设计了一种基于条带的并发I O调度恢复策略,通过避免选取同一节点的数据块进行I O操作,提升了I O并行度,通过调度恢复I O和迁移I O的执行顺序,减少了数据恢复的执行时间.相比APHash数据放置算法,SCHash在数据恢复过程中,减少了46.71%~85.28%数据的迁移.在条带内重建时,恢复带宽提升了48.16%,在条带外节点重建时,恢复带宽提升了138.44%.

摘要：在线社交网络的兴起吸引了越来越多用户的加入,面对数以亿计的用户量,如何以一种可扩展的方式存储用户数据已成为社交服务提供商和学术界共同关注的热点问题.目前广泛采用的分布式键值存储通过Hash方法将用户数据随机放置在不同的存储服务器上,这种方法会导致数据中心内部巨大的通信量,不利于社交网络的扩展.本文针对社交网络中用户交互的特点,提出一种社交图划分与数据复制相结合的数据放置方法;进一步考虑数据中心网络拓扑,针对具体拓扑结构,设计数据放置算法,并分别讨论了算法对社交网络规模的增量调整以及分布式实现.在真实数据集上的比较实验结果表明本文所提出的算法能够有效降低社交网络数据中心内部通信量,增强其可扩展性.

摘要：数据密集型应用越来越多,如何将大数据在数据中心实现有效放置变得日益重要。研究了大数据的放置模型。影响大数据放置的因素主要有:能耗、异构节点的服务能力及具有关联计算的数据集。基于这3个因素设计了一种节能、充分考虑异构节点服务能力及提升MapReduce处理Join连接的效率的大数据放置模型。该模型将有效实现大数据的有效放置管理,同时也为未来软件定制数据中心奠定了基础。

摘要：研究了动态网络环境下基于网络的存储系统的数据放置算法,分析了现有的数据放置算法,提出了通用带权分布式哈希表算法。与相容哈希算法和对数算法定义的评判函数相比,考虑了各个节点的存储空间、数据分发节点与数据存储节点之间的物理距离、网络带宽等的限制。仿真结果表明,该算法能够实现数据的公平分发。

摘要：JobManager作业管理系统是众多作业管理系统中的一员。随着计算机应用的增加和巨大的数据需求,JobManager作业管理系统对数据的放置也提出了更高的要求。提出了JobManager作业管理系统的数据放置问题,并为该问题设计了详细的数据放置子系统体系结构。

摘要：分布式存储统系统的可靠性主要取决于系统采用何种数据放置策略来保证数据在网络中各结点的有效分配。总结了设计数据放置策略所需考虑的关键问题和衡量数据放置策略的标准,重点讨论了已有的几种放置策略,在Gossip副本更新算法思想的基础上,提出一种可适应动态网络环境的基于存储转发的随机放置策略,并通过测试验证了该策略对系统可靠性和性能的影响。

摘要：随着云计算的快速发展,越来越多的电子商务服务应用面临处理大数据的要求,例如电子商务物流服务中顾客通过社会媒体发布而产生的大量数据。为提高电子商务物流大数据的处理效率,基于Hadoop设计了一种称为ECLHadoop的有效电子商务物流大数据处理策略,通过将相关的数据块放入相同的数据节点,进而达到降低MapReduce I/O代价的目的,尤其是降低shuffling阶段的I/O代价。仿真实验结果显示,基于Hadoop的ECLHadoop大数据处理策略能够较好地进行电子商务物流服务中的数据密集型分析,提高电子商务物流大数据计算效率。

摘要：云计算技术的快速发展积累了海量的数据资源,数据资源存储调度算法的好坏直接影响人们使用信息资源的效率。为了提高人们搜索数据资源的效率,提高云计算环境下数据存储调度的有效性,需要采用多层次智能分级思想设计一个数据存储系统,该系统可以将访问频次较高的热点数据放置在优先级存储层次,数据存储采用动态迁移算法,可以实时更新数据优先级,提高数据搜索效率。

摘要：本文首先探讨了Ceph架构与读写流程,包括节点计算能力与网络宽带在内的异构性,研究分布式计算框架Map Reduce,对Ceph架构进行改进,分析异构集群环境下确定初始数据的分配,选制定优化后的数据放置对策。