摘要：阐述了hadoop软件框架中的两大核心技术——HDFS分布式文件系统架构和MapReduce分布式处理机制,设计了hadoop集群部署实验的具体方案,主要包括实验目的、实验区域的划分、节点的规划等,并且以一组实验设备为例,详细说明了配置方法,给出了实现过程。通过该实验能够让学生从理论和实践上掌握hadoop有关的技术知识。

摘要：Nutch是开源搜索引擎,hadoop是Apache开发的类似于Google GFS和MapReduce的开源云平台.利用Nutch和hadoop可以设计高效、可靠、可扩展的搜索引擎,然而Nutch的分词模块对中文进行单字切分,不符合在汉语中以词语切分的习惯,为了解决这个问题,采用词典分词的中文分词器IK Analyzer对Nutch的分词模块进行改进,首先描述在Nutch上实现IK Analyzer的方法,然后在hadoop云环境下对该分词模块进行测试.测试结果表明,IK Analyzer的中文分词效果很符合汉语的习惯,对Nutch的理论和应用研究具有一定的意义.

摘要：面对海量邮政寄递数据,现有的构建于关系数据库上的数据仓库系统在做数据分析时具有建设成本高、分析能力会遇到瓶颈等缺点。hadoop具有高可扩展、高性能和低成本等优点,被广泛应用于大数据的存储和分析。基于对hadoop开源框架的研究,设计邮政寄递大数据分析系统,并对该系统进行部分实现。结合邮政安监系统工程需求展开实验,得出大数据分析系统的性能参数,为后续工程建设提供依据。

摘要：hadoop的设计初衷是为了存储和分析大数据,其最擅长处理的是大数据集。但是在实际应用中,却存在着大量的小文件。一般情况下有四种处理海量小文件的方法,分别为默认输入格式Text Input Format、为处理小文件而设计的Combine File Input Format输入格式、Sequence File技术以及Harballing技术。为了比较在相同的hadoop分布式环境下这四种技术处理大量小文件时的性能,选用了典型的数据集,利用词频统计程序,来比较四种小文件处理技术的性能差异。实验研究表明,在不同需求下处理大量小文件的时候,选用适当的处理方法能够在很大程度上提高大量小文件的处理效率。

摘要：在研究现有云GIS体系结构的基础上,基于开源云计算平台hadoop设计并实现了一种云GIS体系结构。本结构分为物理层、云平台层、服务层、应用层4层。其特点包括利用HBase对海量空间数据及部门业务数据进行分布式存储,以解决HDFS不善管理小文件的缺点;运用MapReduce技术将GIS的分析任务分布于集群节点进行处理,以提高计算效率。最后设计并实现了基于云平台的空间数据分布式存储与标准地图服务发布。实践表明,本文提出的体系结构是合理和可行的。

摘要：针对hadoop不直接支持处理海量小图像文件且不能高效管理这些小文件的问题,为让开发者在不了解hadoop内部机制的情况下开发处理海量图像的算法,研究并实现hadoop图像处理框架。制定图像数据在Java开发语言中的表示,使其适用于MapReduce计算模型;设计存储模型高效存储海量小文件及管理小文件;为让开发变得简单和高效,在框架中,向外提供一个适用于各种图像处理算法的编程接口,使图像处理开发人员在不用了解hadoop内部复杂细节的情况下使用这个框架在海量图像处理中发挥杠杆作用。实验结果表明,该框架能高效处理海量图像,有很强的适用性。

摘要：针对智能电网下海量数据的存储问题及数据保密性和完整性需求,分析了现有安全存储方案的特点,结合智能电网应用环境的特殊场合,设计了一种基于hadoop的智能电网数据安全存储方案。该方案充分利用了HBase高性能优势和现代密码技术,将密钥与密文的管理分离,具有安全性好、密钥管理方便及效率高等特点。开发了基于hadoop的原型系统,对方案的时间开销进行了分析,并通过相关实验证明了方案的有效性和可行性。

摘要：网络日志分析对网络安全管理具有重要意义,但现有的网络日志分析系统具有无法处理海量日志数据、采用离线模式、处理时延较长等弊端。因此,提出网络日志数据的分级归档机制,实现海量数据的分级优化存储功能。通过将传统的网络日志分析模式和基于hadoop的离线处理模式相结合,设计基于hadoop的在线网络日志分析系统,并深入分析系统的功能架构和业务处理流程。实验结果表明:该系统具有良好的可扩展性,可以有效存储处理海量日志数据,具有较快的请求响应速度,并能够满足在线处理的要求。从而验证了系统设计的可行性和有效性。

摘要：广域网分布式爬虫与局域网爬虫相比有诸多的优势,而现有基于hadoop分布式爬虫的设计主要是面向局域网环境的。为解决hadoop分布式计算平台不适合部署于广域网的问题,设计了一个基于hadoop的广域网分布式爬虫系统框架。爬虫系统利用消息中间件实现分布式可靠通信,数据存储采用可伸缩的hadoop分布式文件系统HDFS,网页解析利用MapReduce并行处理,并基于模板匹配实现框架可定制。系统的性能仿真显示该框架具有支撑大规模爬虫并发工作的能力。

摘要：船舶智能电网技术快速发展,海上智能电网状态监测平台在设备监控、维护等方面发挥着重要作用,同时,也对海量数据处理提出了更严格的要求。本文设计基于hadoop技术的海上智能电网状态监测平台,以满足平台对海量数据处理性能的要求。