摘要：本文基于一致性hash设计了电力企业动态化MDS集群高质量元数据管理模型。首先详细分析一致性hash算法,其次设计数据集成化元数据框架,再次构建一致性hash集群数据管理模型,最后进行实验验证。实验结果表明,此模型不仅可提高元数据分布均衡性,还可基于备份结点策略保留MDS失效数据信息,同时利用数据延迟处理方式促使集群变化数据迁移量减少,从而实现数据存储的元数据优化管理与扩展。

摘要：为了优化大型分布式网站中的数据缓存机制,提出基于一致性hash算法的缓存数据冗余机制。分析不同散列函数性能,使数据能均匀分布在hash环上不同节点,使用二分法在主从hash环上分别进行存取缓存数据。本地测试及结果分析表明,该冗余机制明显优于直接读库和单机缓存,在分布式系统中能有效降低冗余操作带来的性能损耗,提高了网站的健壮性和稳定性,为高并发、分布式缓存系统设计提供了一个新的思路。

摘要：分布式存储系统作为数据存储的载体,广泛应用于大数据领域.纠删码存储方式相对副本方式,既具有较高的空间利用效率,又能保证数据存储的可靠性,因此被越来多的应用于存储系统当中.在EB级大规模纠删码分布式存储系统中,元数据管理成本较大,位置信息等元数据查询效率影响了I O时延和吞吐量.基于位置信息记录的有中心数据放置算法需要频繁访问元数据服务器,导致性能优化受限,基于hash映射的无中心数据放置算法越来越多地得到应用.但面向纠删码的无中心放置算法,在节点变更和数据恢复过程中,存在位置变更困难、迁移数据量大、数据恢复和迁移并发度低等问题.提出了一种基于条带的一致性hash数据放置算法(consistent hash data placement algorithm based on stripe,SChash),SChash以条带为单位放置数据,通过把数据块到节点的映射转化为条带到节点组的映射过程,减少节点变动过程中的数据迁移量,从而在恢复过程中降低了变动数据的比例,加速了恢复带宽.并基于SChash算法设计了一种基于条带的并发I O调度恢复策略,通过避免选取同一节点的数据块进行I O操作,提升了I O并行度,通过调度恢复I O和迁移I O的执行顺序,减少了数据恢复的执行时间.相比APhash数据放置算法,SChash在数据恢复过程中,减少了46.71%~85.28%数据的迁移.在条带内重建时,恢复带宽提升了48.16%,在条带外节点重建时,恢复带宽提升了138.44%.

摘要：针对云计算环境下分布式存储系统的数据索引不支持复杂查询的问题,提出了一种多维数据索引机制M-Index,采用金字塔技术(pyramid-technique)将数据的多维元数据描述成一维索引,在此基础上首次提出前缀二叉树(prefix binary tree,PBT)的概念,通过提取一维索引和PBT有效节点的前缀作为数据在存储系统中的主键.数据根据主键和一致性hash机制发布到存储节点组成的覆盖网络.设计了基于M-Index的数据查询算法,将复杂查询请求转换成一维查询键值,有效支持多维查询和区间查询等复杂查询模式.理论分析和实验表明,M-Index在复杂查询模式下具有良好的查询效率和负载均衡.

摘要：云数据库是把各种关系型数据库看成一系列简单的二维表,并基于简化版本的SQL或访问对象进行操作的数据库。云数据库能够为多个用户同时提供类似于单节点数据库的服务。在当前云计算技术不断发展中,数据库不断发展进化,从原始的单节点数据库逐渐发展成为云数据库,数据存储能力相对于过去提高了数倍。目前云数据库服务不断增多,在此背景下,讨论了一种云数据库的设计与核心子系统的实现。

摘要：种子销售数据、流向数据的采集与计算是种子追索管理的重要环节。随着种子量的增加和种类的繁杂,传统的数据处理方式在进行计算、存储时,存在着负载能力低、吞吐量差等问题。借鉴Hadoop分布式计算模型的并行计算和分布式存储的方式,设计基于私有云的种子追溯管理平台,研究一致性hash算法优化数据库集群配置、MapReduce对大数据的并行计算。结果表明,与传统单节点处理方式相比,采用私有云并行计算方式可以大大提高并行计算能力、存储效率和平台的负载能力,同等数据量下云平台处理时间约为单节点集群的33.3%。