摘要：在社会经济快速发展的情况下,网络信息技术的更新速度越来越快,如今,促进了大数据时代的进一步发展,而hadoop作为分布式系统的代表,也成为大数据挖掘系统的重要组成部分之一。分布式数据挖掘系统的主要任务是利用hadoop搭建分布式集群环境,然后在该环境上部署相应的数据挖掘任务,前提是要对分布式文件系统HDFS和Map Reduce的并行编程模式原理进行深入的分析研究,同时选择运用K-means聚类算法,使hadoop平台的数据挖掘系统的任务具有良好的发展效率,同时也能显示其计算能力的扩展性能。下面就hadoop平台的分布式数据挖掘系统的设计进行深入的分析探讨,进而促进信息数据系统的进一步发展。

摘要：为有效解决传统K-means聚类算法在处理大规模数据集时面临的扩展性问题,提出了一种hadoop K-means聚类算法.该算法首先根据样本密度剔除数据集中孤立点或者噪声点的影响,再利用最大化最小距离思想选取K个初始中心,使初始聚簇中心点最优化,最后用hadoop云计算平台的Map Reduce编程模型实现算法的并行化.实验结果表明,该算法不仅在聚类结果上具有较高的准确率和稳定性,而且能够很好地解决传统聚类算法在处理大规模数据时所面临的扩展性问题.

摘要：随着数据库技术的发展和Internet的迅速普及,实际应用中需要处理的数据量急剧地增长,致聚类研究面临许多新的问题和挑战,如海量数据和新的计算环境等。深入研究了基于云计算平台hadoop的并行k-means聚类算法,给出了算法设计的方法和策略。在多个不同大小数据集上的实验表明,设计的并行聚类算法具有优良的加速比、扩展率和数据伸缩率等性能,适合用于海量数据的分析和挖掘。

摘要：针对磁流体动力学(MHD)仿真需要高计算能力的问题,设计了一种基于hadoop分布式计算平台的MHD仿真器。将Spark和Hama两种分布式并行计算模型整合到hadoop生态系统中,分别用于支持内存计算和整体同步并行计算。将hadoop集群构建成master-slave对等结构,解决全局同步和局部同步问题。最后,在hadoop集群上,利用有限体积法和黎曼问题来求解MHD方程。实验结果表明,该仿真器能够精确模拟MHD,同时大大缩短了仿真计算时间。

摘要：互联网用户的群体逐年增加,导致在企业运营发展过程中,每天产生大量的客户数据。如何从大量客户数据中筛选出有用数据,是当前数据挖掘的重点。通过客观阐述hadoop平台下的系统数据存储及处理功能,深入分析基于云计算平台的数据挖掘设计,旨在为后续云计算平台的相关研究奠定理论基础,提供参考依据。

摘要：在自然语言处理和文本挖掘领域,主题词提取是一个关键内容,在信息提取、生成抽象、文本分类和文本聚类中起着重要作用。将云计算技术应用于文本复合主题词提取,对于促进文本挖掘和自然语言处理的发展具有重要作用。在此基础上,结合云计算技术,分析设计了一种基于hadoop平台的文本复合主题词提取系统,以不同方式对文本进行全面的主题词提取。

摘要：通过分析当前云计算的安全现状以及云计算对信息安全领域带来的影响,结合hadoop云平台特点,将apriori算法移植于hadoop云平台中并进行了改进优化,使之适用于云平台的入侵检测系统,能更有效提高云计算的安全性.实验结果表明:经过优化后hadoop云平台入侵检测系统具有较好的检测效果,并且能够很好的保护hadoop云集群中受攻击的云节点,对提高云计算平台的服务质量发挥重要作用.

摘要：我国煤矿区煤层气开发利用快速发展,积累了大量的数据信息。随着大数据时代的到来,如何从海量数据中,挖掘有价值的信息,支撑煤层气开发利用宏观布局,成为迫切需要解决的问题。针对hadoop大数据的关键技术和架构进行阐述,结合煤矿区煤层气实际情况,设计了煤矿区煤层气开发利用大数据平台的系统架构和主要功能,为下一步平台搭建和系统开发工作奠定基础。

摘要：通过阐述hadoop平台下的HDFS分布式文件系统数据存储及处理功能和MapReduce核心架构的数据处理模式,结合hadoop云平台数据操作机制,探讨与分析了基于云计算平台的数据挖掘设计。

摘要：随着医院信息化的不断深入和普及,病人的电子病历、药物信息、诊治记录和病人的个人信息等,存在着重复、不完整或错误的数据,无法在数据库中清晰明了地获取每个病人的信息,因此医学数据清洗应运而生。实现一个基于Kettle工具和Python语言的数据清洗平台。平台使用Kettle工具和Python语言对简单的医学重复数据、医学错误数据及医学不完整数据按照设计的清洗流程以及清洗规则进行清洗,之后通过Kettle转换存储到hadoop平台的Hive数据仓库中,从而得到有价值的医疗数据并应用到医疗大数据分析和挖掘中。