摘要：针对传统影像管理方式不能进行T级及以上量级影像数据管理的难题,基于开源分布式云平台hadoop框架,研究设计了云计算环境下的遥感影像数据组织模型(RSC-DOM),利用镶嵌数据集技术、影像无缝集成技术等多种新技术,构建了海量影像数据库管理系统,实现了海量影像数据的高效组织、管理及应用。

摘要：为提高大数据聚类效率,提出一种基于hadoop框架的K均值聚类算法。采用hadoop框架所用的MapReduce模型,将大数据划分成许多数据块。在Map阶段提出权重K均值聚类算法,对每一个数据块独立聚类,得到聚类中心和权重;在Reduce阶段提出加权融合K均值聚类算法,对Map阶段得到的聚类中心和权重进行融合,得到最终的聚类结果。在HIGGS数据集上进行聚类实验,实验结果表明,该算法在保持聚类准确率的前提下大幅提升了大数据聚类时K均值聚类算法的运算效率。

摘要：本文基于hadoop框架设计了海量数据运营系统。首先简要介绍hadoop框架,其次设计系统整体架构,再次详细分析系统关键技术,然后详细设计数据流程、功能模块、数据库结构,最后进行系统测试与实现。结果表明,此系统可兼顾潜在与既有电力客户,实时更新动态数据,且可通过大数据思维充分挖掘企业数据资产价值,为企业作出正确决策奠定坚实基础,以此推动企业实现长远健康发展。

摘要：针对云计算环境下很难确定出有助于实现良好性能的hadoop参数集的问题,设计了一种MapReduce模拟器.首先,对hadoop的各种参数进行建模;然后,集群读取元件从集群中读取参数,从而创建模拟的hadoop集群环境;最后,利用作业跟踪器跟踪模拟的作业,并利用任务跟踪器运行单个任务.所设计的模拟器从多角度研究hadoop应用的性能,集中模拟hadoop的映射和化简行为,弥补了MRPerf设计的不足.在基准测试结果和用户自定义MapReduce应用中验证了模拟器的有效性.

摘要：为解决大数据网络的负载拥塞问题,设计基于hadoop的网络行为大数据安全实体识别系统。在hadoop分布式框架中,规划网络行为大数据接收模块与识别发送模块的从属位置,实现网络行为大数据安全实体识别系统的硬件运行环境搭建。在此基础上,分析实体识别地址,在保持良好均衡处理结果的条件下,对识别信息进行导入导出与存储处理,实现系统软件运行环境搭建,结合基础硬件执行条件,完成基于hadoop的网络行为大数据安全实体识别系统设计。对比实验结果表明,与理想状态下的识别系统相比,应用基于hadoop的安全实体识别系统后,大流网络通道的占用率明显下降,单位时间内分流转发的安全信息总量提升,大数据网络的负载拥塞现状得到有效缓解。

摘要：以提升船舶无线通信网络安全性为目的,设计云计算环境下船舶无线通信网络入侵检测方法,提升入侵检测效果。利用云计算环境内hadoop框架的分布式文件存储系统,存储船舶无线通信网络数据;通过云计算环境内hadoop框架的MapReduce并行编程模型,对信息熵与长短期记忆网络进行分布式设计,设计并行信息熵-长短期记忆网络的入侵检测方法。该方法利用分布式信息熵选择船舶无线通信网络数据特征;以选择的特征为样本,输入至分布式长短期记忆网络内,输出无线通信网络入侵检测结果。实验证明:该方法可有效选择船舶无线通信网络数据特征,完成网络入侵检测,且入侵检测精度较高。在不同攻击类型时,该方法均具备较优的入侵检测效果。

摘要：基因信息选取工作中由于数据量庞大,传统单线程运行的分类查询方法无法满足实时性与提取精度要求。为此,利用hadoop框架设计两阶段并行计算模型。其中第1阶段用于候选基因子集并行选取,第2阶段用于并行K近邻基因信息选取,从而实现并行计算的全过程覆盖。为降低算法的计算复杂度,针对基因信息微阵列数据,定义数据筛选指标对其进行采样,在降低数据处理量的同时消除数据冗余。实验结果表明,该算法具有较高的运行效率,并且继承了hadoop编程模型的可扩展特性,可移植性较强。

摘要：在智慧时空大数据与云平台建设工作中,如何进一步挖掘分析海量空间数据是实现高效应用的一项关键任务。针对佛山市税务机关的业务需求,研究了基于hadoop框架的大数据技术,结合GIS数据,利用互联网云平台对海量税务数据进行存储、计算、分析的佛山市税源地图大数据展示系统的设计与实现。

摘要：随着智能电网的建设以及电力变压器在线监测技术的成熟,电力变压器在线监测数据呈现出体量大、类型多等特点。使用传统存储技术存储变压器在线监测数据,已不能满足实时、快速的需求。为此,设计基于hadoop集群的变压器在线监测数据存储方案。该方案利用HBase(分布式列式数据库)具有快速实时读写数据的优势,将变压器在线监测系统采集的海量数据实时快速地存储。为能自动快速实时收集数据和避免因数据流过大造成系统崩溃,分别采用Flume(日志收集工具)和Kafka(分布式流处理平台)收集和缓存数据。以电力变压器在线监测的油色谱数据为例,验证了所提存储方案的可行性和有效性。

摘要：hadoop是一个分布式系统架构,可以解决海量数据存储和分析的问题,用户无需了解底层设计即可搭建大数据平台。通过讲述大数据的数据处理流程,分析大数据在数据存储与管理过程中面临的问题,设计了大数据存储与管理架构,提出了数据检索索引设计,提高了大数据存储与管理能力。