摘要：分布式存储系统作为数据存储的载体,广泛应用于大数据领域.纠删码存储方式相对副本方式,既具有较高的空间利用效率,又能保证数据存储的可靠性,因此被越来多的应用于存储系统当中.在EB级大规模纠删码分布式存储系统中,元数据管理成本较大,位置信息等元数据查询效率影响了I O时延和吞吐量.基于位置信息记录的有中心数据放置算法需要频繁访问元数据服务器,导致性能优化受限,基于Hash映射的无中心数据放置算法越来越多地得到应用.但面向纠删码的无中心放置算法,在节点变更和数据恢复过程中,存在位置变更困难、迁移数据量大、数据恢复和迁移并发度低等问题.提出了一种基于条带的一致性Hash数据放置算法(consistent Hash data placement algorithm based on stripe,SCHash),SCHash以条带为单位放置数据,通过把数据块到节点的映射转化为条带到节点组的映射过程,减少节点变动过程中的数据迁移量,从而在恢复过程中降低了变动数据的比例,加速了恢复带宽.并基于SCHash算法设计了一种基于条带的并发I O调度恢复策略,通过避免选取同一节点的数据块进行I O操作,提升了I O并行度,通过调度恢复I O和迁移I O的执行顺序,减少了数据恢复的执行时间.相比APHash数据放置算法,SCHash在数据恢复过程中,减少了46.71%~85.28%数据的迁移.在条带内重建时,恢复带宽提升了48.16%,在条带外节点重建时,恢复带宽提升了138.44%.

摘要：集群文件系统作为一种典型的分布式文件系统类型,通过集群内多个节点的协同,消除了单点故障以及性能瓶颈问题,实现了高可用、高性能以及动态负载均衡,并且具有较高的可扩展性,因此常作为实现和提供云存储服务的关键技术之一.该文针对HDFS集群主要局限于同一数据中心内部部署且可扩展性受限的问题,提出一种跨数据中心集群部署的文件资源调度机制和金蝶分布式文件服务KDFS,通过分布式架构再设计,支持多个HDFS集群动态组网协同工作;通过引入文件资源池,屏蔽了不同集群之间的文件差异性,能够面向多应用提供透明服务;通过引入弹性存储与最优存储策略,确保集群资源安全冗余与就近服务的同时提升了集群的存储效率.实验和实践证明,跨HDFS集群的文件资源调度机制不但解决了HDFS集群可扩展性受限的问题,同时通过跨数据中心部署,实现了集群文件异地冗余灾备、跨数据中心负载均衡以及文件就近存取服务,有效地提高了应用使用KDFS存储服务的体验.

摘要：数字化教育的发展促使学习资源快速增长,但由于资源整合系统的针对性较差,用户查找费时较长。为此,提出基于HDFS的大学英语在线课程资源整合系统设计。依据HDFS系统结构特征选取具有强大功能的采集器与储存器等硬件设施。采用信息熵理论获取课程资源特征方程,按照该特征构建资源整合集合,完成系统软件设计。实验结果证明,该系统能够提高用户资源查找准确率,减少查找时间,提高用户满意度。

摘要：针对我国铁路建设中工程文档“海量、分散、标准不一、共享困难”等难题,结合我国铁路建设统一规划、统筹管理和建设移交的行业特点,提出建立基于云存储的铁路工程统一多租户文档平台,设计文档平台的技术架构、功能架构和数据模型,对用户检索、文件存储和支撑服务等关键技术进行论述,并且在京雄等项目试点应用中取得效果和经验,对规范我国铁路工程文件资料管理具有指导意义。

摘要：对Hive数据仓库的设计与环境搭建过程进行简单介绍,着重介绍利用Insert技术在Hive数据仓库中对数据进行导入导出的方法。这两种方式在学习Hive数据仓库的技术上和实际生产环境中,都具有重要的意义。

摘要：随着航天技术的不断发展,航天试验任务过程中产生并存储了大量数据、图像及音视频等信息,数据存储在网络附属挂载存储(NAS)阵列中,通过顺序或低级并行程序进行处理,难以满足性能、可用性和智能性的需求。针对航天领域测控网试验数据的特点,采用服务器集群架构构建分布式文件系统,并在服务器阵列级设计了数据统计分析算法,有效提升了分析效率及存储的安全性,为航天领域的大数据处理提供了数据支持。

摘要：移动云计算技术具有易扩展、高存储、高计算能力等特点,可将其有效地应用于教学资源平台中。笔者根据教学资源平台建设的背景,结合移动云计算和教学资源平台的特点,对构成移动云计算教学资源平台的移动云计算平台层、教学资源服务层和移动应用层进行深入分析。

摘要：针对大数据环境下仿真应用的海量数据处理需求,参照面向大数据高通量计算的架构和技术特点,提出并定义了高通量仿真的概念和参考架构。针对高通量仿真中数据访问瓶颈问题,设计了基于分布式内存文件系统的高通量仿真数据存储和访问体系,并扩展集成了非易失性存储器进一步提高数据访问的吞吐量。通过对典型仿真应用的实验验证,表明采用分布式内存文件系统和非易失性存储器的高通量仿真存储系统能够有效提升高通量仿真数据存储与访问性能。

摘要：浙江省历史存档的不同遥感平台、传感器、时相以及分辨率的海量影像数据,缺乏一种高效的存储管理方法。为了满足用户的高并发、多样性的数据共享服务需求,对历史存档数据进行标准化处理,设计并实现了分布式架构的海量多源遥感数据管理系统,该系统能够进行高效的定制化式的数据检索、共享以及分发等功能,满足了实际应用需求。

摘要：目前下一代互联网的标准网络层协议采用IPv6已成定局,同时基于IP网络的存储集群是构造高性价比海量存储系统的基本手段,而现有的存储集群不支持IPv6,因此研究基于IPv6的存储集群对于网络和存储技术的发展和应用都有重要的价值.分析和研究存储集群的网络中间件,在此基础之上设计并实现了支持IPv6的网络中间件.采用该中间件通过对Lustre的测试表明,IPv6网络中间件与原有IPv4网络中间件相比性能不受影响.设计、实现的原理和技术还适用于更广范围内IPv6的移植和应用.