摘要：提出了一种云环境下海量数据组织与资源共享的存储总模型,该模型包括:结构化、半结构化及其非结构化数据与资源的对应存储方法;能兼顾海量大小数据文件处理的分布式文件系统THDFS;云数据库系统设计模型THCloudDB;云环境下强于MapReduce弱于SQL,以Hadoop++为基础的一种针对互联网海量数据文件处理且具有语义计算效能的计算模型THMapReduce;针对THDFS及其THCloudDB的具有语义效能的智能挖掘分析工具THBI;最后以"清华通"为案例分析了该模型平台的具体应用.

摘要：随着三维模型数量爆炸式的增长,如何有效地存储和管理海量的三维模型文件并对其进行高效的处理,是三维模型检索领域亟待解决的问题.首先基于模型文件名的概念相似度对模型文件分类合并,存入Hadoop集群的分布式文件系统(Hadoop distributed file system,HDFS);然后通过引入拓扑结构一致性因子,设计了三维模型完整性函数,实现了Hadoop环境下对三维模型形状分布的MapReduce处理,并根据分布式计算的特点进行了性能优化.以中国台湾大学的三维模型数据库作为测试集在Hadoop集群上进行实验,验证了算法的有效性.

摘要：教学信息化的发展,预示着数字化教学资源大数据时代的到来。面对海量数字化资源,利用分布式处理技术从资源的大小出发,设计了针对大文件资源的HDFS存储方案和小文件资源的DFS存储方案。详细分析了HDFS和DFS的工作原理,介绍了针对大文件和小文件资源的存储方案,并在教学实践中分别分析了其文件传输速率,证实了存储方案设计的可用性。

摘要：随着大数据时代的到来,PB级、EB级甚至ZB级数据集出现,存储系统的建设需要根据业务的发展,逐渐进行扩展。不同性能存储设备的加入、旧设备的退出以及多设备同时失效等问题的出现对传统存储系统数据分布算法提出严峻挑战。设计了一种新的hash映射算法,该算法引入节点权重和多副本,并考虑节点失效和节点过载情况,能够适应存储系统扩容、节点失效、节点过载的动态环境。该算法能从概率上保证系统伸缩时,数据对象及其副本分布在不同的节点上,以及在节点间保持概率上分布的均衡性和迁移数据量最优;针对系统运行过程中节点失效和节点过载,该算法也进行了有效处理,提高了系统的可用性和性能。通过数学分析和实验验证了该分布算法自动适应存储系统的伸缩变化,保证了数据分布均匀性和对节点失效和过载的有效处理。

摘要：为解决气象观察数据的频繁写入和大数据存储的问题,设计私有云存储模型。该模型分为用户访问接口层、元数据存储层、实体数据存储层和关系数据库4层结构。采用HDFS集群分布式文件系统,实现气象大数据的存储和高效查询与搜索业务;使用关系数据库系统,实现数据采集端频繁数据写入的业务。实验结果表明,该平台实现了海量气象数据存储、查询统计和属性管理,克服了云存储单条插入效率低的缺点,较好满足了气象部门大数据存储和管理的需求。

摘要：在云存储技术中,云存储系统的数据容错十分重要,直接关系到整个系统的可用性。当前多数分布式存储系统通过多副本来保证数据的可用性,然而,多副本存储方式也使得数据存储空间翻倍增加,为了降低存储空间,提高数据可用性,有些分布式存储系统开始采用纠错码技术来提高数据可用性和降低数据存储空间占用。通过对MooseFS分布式文件系统进行分析,提出了一种基于MooseFS的纠错码实现方法。通过数据存储效率测试,该方法能够保证常用的"热数据"按照多副本存储,不常用的"冷数据"按照纠错码方式存储,在保证可靠性的同时极大地降低了多副本方式空间占用量。

摘要：针对以IPv6为主要特征的下一代互联网的需求,本文介绍了将基于对象的分布式文件系统Lustre由仅支持IPv4改进为同时支持IPv4与IPv6双协议栈的设计原则与实现,并测试比较了Lustre在IPv6与IPv4环境下的性能。其中的设计原则是通过分析Linux系统的IP协议栈得到的,因此同样适用于其他期望使用Linux的Socket接口实现支持双协议栈的网络程序。

摘要：由于Kerberos认证模型是中心管理方式,当Kerberos应用于大型的分布式网络中时,会产生服务器的瓶颈问题。为扩大Kerberos的应用范围,使其很好的与分布式系统HADOOP结合,对Kerberos在HDFS环境下的应用进行研究和描述,针对Kerberos密钥分发中心的瓶颈问题和HADOOP分布式文件系统的特殊需求,提出改进的Kerberos协议模型。该模型结合分布式思想,且对协议的消息传递模型进行改进。仿真结果表明,该协议解决了HADOOP分布式文件系统集成Kerberos的缺点,提升了HADOOP分布式文件系统的存储安全以及分布式文件系统的用户认证效率。

摘要：作为MapReduce的开源实现,Hadoop的性能依赖于其任务调度机制。对Hadoop的推测执行算法进行研究,并设计了一种更具公平性、更好系统处理能力和更适合于异构环境的改进的Hadoop调度算法SALS。改进的Hadoop算法对调度任务的判定更准确,对负载的针对性更强,可减少系统对全部任务的响应时间,提高MapReduce的性能。

摘要：针对海量数据的存储问题,通过购置更多数量的存储设备来提升存储能力的传统方法,存在硬件成本高,存储效率低等缺点.通过研究云计算和云存储的相关技术提出一种基于富客户端的云存储模型,并实现了基于富客户端的云存储系统.实验结果表明,该系统能有效地存储、管理海量数据,具有开发成本低、处理速度较快、运行稳定、易于扩展等特点.