摘要：为解决半结构化XML大数据的处理分析问题,分析了Twig查询结构特点和hadoop平台架构特征。基于hadoop平台,通过对XML数据的水平切分,设计了XML数据在HDFS上的分布式存储策略;将Twig查询分解为线性路径,实现了基于MapReduce编程模型的并行查询方法。最后通过实验验证了该方法的有效性。

摘要：本文着重探讨如何使大数据的智能可视化,从而促进大数据的智能化持续发展。从大量数据中抽取有用信息、分析信息、智能化处理和可视化处理等方面,是目前大数据领域亟待解决的一系列问题。

摘要：目的:建立全院统一的高质量数据存储中心,为医疗服务、数据分析及医院运营管理等提供数据基础。方法:搭建hadoop平台,利用hadoop的Sqoop组件实时采集医疗数据,并将医疗数据集中存储在HBase数据库中,之后通过并行计算框架加速数据读取、修改。结果:基于hadoop的医院生态系统,提供了强大的数据统一存储和计算力,采用高效的并行计算框架,满足全量数据在线高效使用,将医疗数据进行了整合及标准化。结论:数据存储中心能够实现医院精益化运营分析,支持实时统计分析的管理辅助决策、基于大数据的疾病分析决策以及临床辅助诊断决策等;可满足医院的数据利用、医疗质量管理、医院运营及绩效管理等需求。

摘要：信息大爆炸产生的数据数量非常庞大且复杂,其中不仅有结构化与半结构化的数据,还有着非结构化的文本、图像、视频等信息数据。因此,对于大数据的分析也成为了研究的重点,尤其是大数据的采集、处理、存储、分析以及安全,是研究的主要目标。在大数据的处理中,hadoop作为系统基础平台能够实现大数据的分布式处理,其具备可靠、安全、高效以及可伸缩的特点。HDFS是hadoop平台的基本组件,同时也是目前研究与应用非常广的一种存储大数据的分布式文件系统,而其根本是分流式的分块文件系统。而传统的HDFS读取较大流量文件数据时会出现I/O的性能问题,基于针对此问题进行分析研究进而提出优化后的HDFS存取策略。借助于文件的预处理,实现文件的汇总,提出新的元数据管理与通用文件存储模式,解决HDFS处理大量文件时出现的性能问题,满足交通应用的大数据处理和存储需求。

摘要：在深入分析传统数据挖掘方案已经不能满足大数据的挖掘任务的基础上,为了提高大数据环境下的数据挖掘速度,对分布式计算构架hadoop进行分析与研究。文中搭建了hadoop云计算平台的数据挖掘系统,对数据挖掘算法中聚类算法K-Means进行了设计,在hadoop平台上实现了K-Means算法的优化,使用hadoop分布式系统进行数据挖掘任务具有良好的效率,分析结果表明了其具有较大的潜力。

摘要：介绍开源hadoop云平台的一些主要特点及其数据存储的优势。通过把云平台自身特点与地理系信息系统的构架设计相结合,提出了基于hadoop云平台的地理信息系统构架,使地理信息系统具有云的相关特性。该地理信息系统能解决地理信息数据量大、种类繁多的数据在计算等方面有一定的优势,从而大大提高了云GIS系统的效率。

摘要：随着信息社会的快速发展,网络数据正在指数级地增长,其中大部分都是文本数据.如何在有限的时间内完成大规模的文本数据挖掘分析,已成为当前的热点研究问题.文本预处理是整个挖掘过程中最耗时的环节,分布式并行处理可以缩短该过程的挖掘时间.设计分析了基于云计算hadoop平台的文本预处理MapReduce并行化过程,并对预处理的Map函数和Reduce函数进行了详细介绍.通过实验证明,和单节点运行相比,改进后的并行化方法具有更好的性能.

摘要：随着互联网时代的到来,互联网数据的产生和收集数量呈爆炸式发展。使用金融机构大数据抓取软件系统处理和存储相关数据成为许多商业机构和研究机构的常态化选择,金融机构大数据抓取软件系统可以简化使用者对于信息传输和信息计算的具体操作,便于提高使用者的使用效率和准确率。本文研究的金融机构大数据抓取软件系统通过Python和Java语言完成,主要包括:金融机构大数据抓取软件系统分析模块、金融机构大数据抓取软件系统优化模块、金融机构大数据抓取软件系统预测模块。在研究的过程当中本文采用了递归随机搜索算法、Java图形界面、hadoop平台进行设计研究。经过测试,在选用服务器为Intel Atom D510时,金融机构大数据抓取软件系统优化模块在hadoop集群上开展优化,系统任务执行时间变短,比原来的数据时间缩短了5%以上,优化有效。

摘要：随着互联网和社交网络的发展,个人信息越来越多地暴露在网络空间中,有效收集和挖掘这些信息可发现所需要的人才信息。设计了一个人才发现与推荐系统,该系统基于hadoop平台,利用网络爬虫程序寻找网页,通过信息抽取技术获取页面内容,利用lucene的分词器提取文本中的关键词,根据关联规则算法挖掘出关联关键词,采用基于相似项的策略推荐人才。系统为企业提供了一种基于网页数据的技术人才发现和推荐工具,节约了大量时间和成本。

摘要：据IDC统计,2011年全球处理的数据量达到1.8 ZB,预计到2020年达到40 ZB。如何对海量数据进行高效分析和有效管理已成为大数据时代亟需解决的问题之一。商业数据、科学数据和网页数据这3类海量数据的异构性(充满着非结构化、半结构化和结构化数据)进一步增加了海量数据的处理难度。海量数据排序是海量数据处理的基本内容之一。hadoop曾利用3 658个节点的集群在16.25小时内完成1PB数据的排序,获得Daytona类GraySort和MinuteSort级别的冠军。本文在设计层面上对hadoop平台上海量数据排序策略进行分析。