摘要：针对单一CPU节点的Web数据挖掘系统在挖掘Web海量数据源时存在的计算瓶颈问题,利用云计算的分布式处理和虚拟化技术优势以及蚁群算法并行性的优点,设计一种基于Map/Reduce架构的Web日志挖掘算法。为进一步验证该算法的高效性,通过搭建hadoop平台,利用该算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,充分利用了集群系统的分布式计算能力处理大量的Web日志文件,可以大大地提高Web数据挖掘的效率。

摘要：随着计算机技术的发展,“互联网+”已经被应用于各行业中,带动了行业的创新发展。在此技术环境下, “互联网+”行业所产生的数据呈现爆炸式增长,这些数据是推动企业发展的重要因素。对于电商行业而言,数据已经成为电商行业获得市场竞争优势的核心,提高电商数据的信息化水平是电商企业可持续发展的重中之重。基于hadoop平台,展开电商数据分析系统设计,旨在为电商行业的发展提供更加精准的数据。

摘要：企业信息资源管理系统面对大规模和多类型数据涌入时,处理效率低,系统容易崩溃,设计基于大数据技术的企业信息资源管理系统。分析hadoop平台体系结构,确定资源管理系统整体架构,设计每个子系统对应的功能,部署系统硬件环境;利用大数据融合技术设置软件执行算法,通过模糊调度挖掘资源间关联规则,根据相似性函数,建立同类资源的融合模型,提高业务处理效率,完成系统整体设计。实验表明,该系统的CPU利用率仅在30%左右,处理时间在1.00s以内,大大缩短了处理时间,提高了处理效率。

摘要：大数据技术已经成为当下热点问题,hadoop技术在煤矿领域运用也引起了广泛关注。针对传统监控模式下煤矿视频监控系统图像采集点多、历史留存数据量大、不利于后续查找特征图像等问题,提出一种hadoop平台下PCA-SIFT算子的图像特征提取算法,研究并改进了MapReduce并行编程模型的任务设计,对传统尺度不变特征转换算法进行了并行化设计,在hadoop集群下实现了海量煤矿图像的PCA-SIFT并行特征提取。使用汾西矿务局煤矿图像井下数据集进行实验,算法SIFT特征点检测效果好,运行耗时少。在图像数量庞大时,系统加速比几乎呈线性增长趋势,验证了算法处理大规模煤矿图像数据的有效性。

摘要：串行的朴素贝叶斯分类算法对大数据分类需要较长的执行时间,针对这个问题,设计了一种基于hadoop的并行朴素贝叶斯分类算法.并行算法使用一个Map Reduce任务对训练子集并行计算各个类别的先验概率和每个属性值的条件概率,从而实现了分类模型的构造,使用一个Map Reduce任务对测试子集并行计算被正确分类的样本数,输出分类器的分类准确率.使用大数据集测试了串行算法与并行算法的运行时间,结果表明并行算法具有更高的执行效率.

摘要：网络日志解析是确保监控系统稳定运行和检测故障的重要任务之一。然而,日志文件的数据量庞大,数据格式也相对复杂,难以手动处理。在此背景下,对基于hadoop分布式计算框架的网络日志分析系统的设计和实现进行了研究,通过将数据分解成块,并通过多台计算机并行处理数据块来提高数据处理速度和效率。系统使用了hadoop的MapReduce编程模型来实现网络日志数据的解析和处理。实验结果表明,相比传统方法,该系统具有更高的数据处理速度和可伸缩性,证明其有效性和实用性。

摘要：针对高压输电线路合闸故障数据体量大、增长速率快,串行故障诊断算法效率低下的问题,提出了一种基于hadoop平台下的遗传算法和K-means算法的高压输电线路合闸故障诊断方法。根据录波器采集的数据具有故障时刻前后阶跃性的特点,设计整体及局部相结合的数据特征表达方法构建数据样本集。利用遗传算法的全局寻优特性改进K-means算法初始聚类质心选取的问题,结合hadoop平台的MapReduce框架特点设计并行化遗传算法和K-means算法。经实验证明所提出的并行化方法能够明显提升算法运行效率,具有较好的工程应用潜力。

摘要：传统社区管理主要通过人工信息登记打电话、登门、拜访等管理方式,不仅效率不高,还重复劳动,更无法满足超大社区的治理需求。hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式计算架构。针对智慧社区后端数据分析仍需加强的问题,基于hadoop设计了一款智慧社区大数据仓库系统,构建业务数据采集平台,数据仓库维度建模。为智慧社区运营驾驶舱(车辆进出、门禁刷卡、社交电商等)提供数据支持,提高智慧社区的数据处理能力。

摘要：文章通过分析传统的空间聚类算法以及新发展的聚类分析方法,最终选K-means算法进行研究。基于hadoop平台,采用HDFS(分布式文件系统)存储数据,结合MapReduce编程模式,对K-means算法进行设计以及编程实现,最后实现了该算法在hadoop平台上的并行化。通过实验,验证了K-means算法部署在hadoop集群上并行化运行,在处理空间数据时,该算法有效地减少了时间复杂度,大大提高了实施效率和结果的准确性。

摘要：针对基于关键人物的视频检索问题,以hadoop分布式计算平台为支撑,设计并实现了一个可处理大量视频数据的分布式视频检索原型系统。分析了系统的三大关键问题:基于人脸检测的视频帧提取、基于人脸匹配的视频帧筛选和基于PCA的相关视频检索。以2014年大数据竞赛提供的TED演讲视频基准数据集为例,对系统实现效果和检索性能进行了评测。