摘要：阐述基于hadoop平台的学情分析系统设计和技术方案,提出合理的实施规划方案,对于学习过程中产生的海量数据,能快速找出有价值的信息,并对信息进行转化,提供有效的技术支持。

摘要：在信息系统当中,日志数据也就是用户对系统的操作记录以及系统自身的运行状况记录,对日志数据的有效分析,有利于排除系统故障、明确用户访问规律等。基于此,文章就hadoop平台下日志分析系统展开研究,首先介绍了系统的总体框架,进一步对其设计与实现过程中,日志分析处理流程设计、日志数据预处理两个操作环节进行了重点介绍,并进一步提出了针对此类系统的检测方法。

摘要：在数据挖掘过程中,由于决策树在分析阶段存在单一递进关系,会导致数据的分析效率不高。针对这一问题,文章提出了基于hadoop平台的数据挖掘算法,并展开了相关实证研究。首先,采用广度优先策略对数据集挖掘算法决策树展开设计,将节点之间的最小加权欧氏距离作为划分基准,利用hadoop平台中的MapReduce程序实现对决策树节点分枝操作的并行处理,以此建立决策树的层级关系,实现对待处理数据集的逐层分析。然后,对数据挖掘算法的Map函数展开设计,以待分析数据键值对与分类基准参量之间的关系实现对数据的分类挖掘。测试结果表明,该算法的运算效率和加速比均处于较高的水平,能够满足海量数据的处理需求。

摘要：针对智能电网不断发展背景下,电力系统运行中受到各种因素干扰导致的不良数据问题,提出了基于hadoop平台的电力统计不良数据高效识别方法。对文中研究背景进行分析,设计开源hadoop平台和分布式文件系统结构,对MapReduce计算模型流程进行分析。针对hadoop中的MapReduce实现的流程设计电力统计不良数据的识别算法,对大数据进行充分挖掘,提出数据辨识和修正,并且对提出的算法进行仿真分析。通过仿真结果表示,文中方法能够解决不良数据问题,提高辨识算法精确度。

摘要：数据量的激增促进了分布式文件系统的迅速发展,hadoop作为一个开源框架,以其高效的数据存储与处理能力在分布式系统中占据重要地位。通过hadoop Distributed File System(HDFS)实现大规模数据集的分布式存储,YARN为资源管理提供了弹性调度,使得hadoop成为处理大数据问题的理想平台。本文探讨了基于hadoop平台的分布式文件云存储系统设计,旨在提供一种高效可靠的分布式文件云存储解决方案,以支持大数据时代下的数据存储与处理需求。

摘要：研究hadoop平台下的K-means聚类方法的并行化改进,针对传统K-means聚类存在的固有缺陷,提出通过密度计算来确定初始K值和初始中心点的方法,并设计了基于云计算hadoop平台的并行化过程。实验证明,改进后的K-means聚类方法具有更好的性能,能有效地从海量数据中快速、高效地发现和获取真正有价值的信息。

摘要：针对大数据可视化需求,基于网络公开的用户行为大数据(部分数据可以借助网络爬虫等算法自主抓取),依托hadoop开源大数据处理平台,利用JavaWeb中的编程框架,辅助以各种可视化工具,设计实现了大数据的可视化分析及应用.在完成大数据可视化处理操作的同时,实现了多源多类大数据的可视化分析与展示.通过实验分析,能够实现不同大数据应用领域的可视化数据分析,为用户提供便捷、有效的大数据处理与应用业务.

摘要：hadoop系统具有四高优点,即高包容性、高可用性、高运行效率和高可靠性,目前应用领域极为广泛。以hadoop平台为依托设计海量视频检索系统需满足快速高效检索的现实需求和强大的存储及分布式转码的功能需求。系统架构时需要以hadoop平台的三大核心组件为依托,整个系统结构设计为六层,同时,依托H_u不变矩等先进算法提取目标图像特征进行相似度匹配,最终完成检索。

摘要：为了改善hadoop云计算平台访问轨迹安全性的问题,提出一种根据用户动态行为分析的访问控制机制。首先,通过收集用户在平台中的各种行为证据,并进行属性归类划分;分析用户在系统中的动态行为证据基础值,通过算法在超级决策软件上进行计算,将用户的行为量化为一个信任值来分配用户对平台的访问权限。最后,设计了基于信任的访问控制过程。此种访问控制实现了更高的平台安全性,能有效地控制用户访问权限。

摘要：在hadoop分布式系统上,设计并实现了一个基于SSM框架的评价系统,对评价系统构建的技术路线及实现方案以及基于中介真值程度度量的评价规则进行了详细阐述。系统采用接口编程技术,对每个模块的基本功能进行抽象,可以接入并修改任意的功能模块,增强了系统的可扩展性和维护性。系统中定义了基于中介真值程度的评价规则,分别采用距离比率函数和距离比率和函数建立了单维度测度模型和多维度综合测度模型。除此之外,系统也可以自定义评价规则集,增强了系统的可用性。在学生成绩评价中的应用结果表明,基于中介真值程度的评价规则,使评价结果更为科学和合理。