摘要：教学资源管理是提高教学质量和促进教育资源均衡的重要因素,分布式存储是解决目前教学资源数据量大、存储成本高和访问速度慢的有效手段。基于hdfs技术展开研究,为系统开发提供技术支持。研究内容以hdfs体系结构为基础,遵循"松散耦合"的思想,设计了由基础设施层、支撑平台层、软件功能层和用户接入层构成的四层平台架构;使用hdfs技术,实现了读取文件和写入文件等核心功能。研究成果解决了软件开发关键性技术问题,开发过程中要充分发挥hdfs的优点,以提高软件的质量和性能。

摘要：随着当今社会信息量的激增,我们已经进入了大数据时代。数据的保存尤为重要。云存储技术的发展为数据存储带来了不同的选择与更大的发展空间。相比于专门的数据备份服务器,能够利用闲散的计算机资源组成一个分布式的文件系统的云存储系统在经济适用性与性能方面都具有独特优势。而在诸多的文件系统中,hdfs(Hadoop Distributed File System,Hadoop分布式文件系统)可以利用闲散的计算机资源构建分布式文件系统,以提供存储、备份功能。本文设计了一个基于hdfs分布式文件系统的面向HTTP协议的数据备份模块,以实现安全可靠的数据备份功能。

摘要：随着传统行业电子化的速度日渐加快,电脑上的数据量与日俱增,数据备份领域面临的挑战也越来越大。传统备份因为需要大量的磁盘阵列作为存储介质,所以在成本控制上一直是个难题。针对该情况,结合云存储平台低廉的成本、高效的资源伸缩与利用率,研究在hdfs系统中加入新的重复数据删除技术,并对原有备份策略进行优化,设计出一种基于云存储中的重复数据删除技术的备份系统。最后通过实验,对改进后的方案系统与传统备份方案备份文件所占空间、时间等参数进行了对比。

摘要：设计一个基于hdfs分布式文件系统的面向HTTP的数据备份模块,充分利用hdfs分布式文件系统的优点,可以方便地增加存储节点,提高系统存储空间的可扩展性。同时使外网用户只能通过HTTP访问备份服务器的端口并与之交互,以实现安全可靠的数据备份功能,提供一种简单方便、安全有效的数据操作。

摘要：高校是进行教学与科研的场所,随着云计算技术的发展,如何管理和利用产生的海量数据已成为当前研究的热点。设计了一个基于Hadoop云计算平台的数字化校园,其由4层体系构建,对该系统从结构、功能等方面进行了设计与分析。

摘要：针对hdfs最初是为流式访问大文件而开发的,而对于大量小文件的存储效率不高问题,采用MapFile设计一个hdfs中存储小文件的方案.该方案的主要思想是在上传hdfs时增加一个文件类型判断模块,建立一个小文件队列,将小文件序列化存入一个MapFile容器,合并成大文件,并建立相应的索引文件,有效降低文件数目和提高访问效率.通过和现有的Hadoop Archives(HAR files)文件归档解决小文件问题的方案对比,实验结果表明,基于MapFile的存储小文件方案可以更为有效的提高小文件存储性能和减少hdfs文件系统的节点内存消耗.

摘要：本文针对当前公安交通管理综合应用平台（简称综合应用平台）采用传统Oracle数据库面临的数据量持续海量增加、非结构化数据管理、数据实时查询统计等瓶颈问题，介绍采用大数据分布式存储组件hdfs、HIVE等，设计并实现的面向公安交通管理行业的大数据分布式存储系统，从数据管理、数据接入两方面对该系统的实现做了详细介绍。

摘要：Hadoop中的hdfs是大数据存储处理的关键技术之一,hdfs有着存储超大数据集高效可靠等优点,hdfs存储小文件有着明显的缺陷。HBase是有着非常高效的数据查询能力,本文目标是结合hdfs和HBase各自的优点,设计一个复合式的大数据存储系统,将大于64MB文件存储在hdfs中;大于10M小于64MB文件存储在hdfs中,将文件目录存储在HBase中,提高检索速度;小于10M的文件直接存储在HBase中,较好的解决了大量小文件存储时Name Node内存瓶颈问题。实验证明这种设计能够提高存储效率。

摘要：基于hdfs技术,设计了教学资源云存储平台。提出了平台的总体架构,对hdfs提供的平台技术支撑进行了详细分析,给出了平台基础架构,分析了基础架构各层次的实现内容,用于解决分布、异构、海量、多模式的教学资源集成、整合及共享问题。

摘要：随着电网规模的日趋复杂以及电网规模的快速增长,电力生产与信息化有了深度的融合,电网监测数据变得日益庞大,电力设备在线监控系统的数据存储面临着巨大的挑战。针对电力设备监测数据存储存在的问题,采用hdfs对电力设备监测数据存储设计进行研究,研究了基于hdfs的电力设备监测数据存储系统构架,系统构架主要由计算层、数据接入和存储层组成;提出了一致性哈希存储算法,该算法优化了hdfs的数据分布策略;分析了hdfs数据块的尺寸优化,得出了负载均衡和数据块的关系;进行了hdfs性能基准测试,分析出监测数据规模与文件大小对集群I/O性能的影响,研究为实现高效、统一、安全的电力设备监控数据的存储提供一定借鉴意义。