摘要：针对传统关联规则Apriori算法难以适应大数据的问题,为提高可信计算平台日志数据分析效率,提出了一种基于hadoop的可信计算平台日志分析模型。构建了日志分析模型总体框架,对非结构化原始日志数据进行垂直划分,采用分布式文件存储系统,结合MapReduce编程模式给出一种分布式Apriori并行垂直算法。通过日志挖掘建立用户行为关联规则库,并采用规则匹配实现对用户异常行为的检测。理论分析和实验数据证明,该模型在大数据环境下能够有效提高日志分析效率。

摘要：随着作为电网动态监测技术平台的广域量测系统(WAMS)在电网的应用普及,电网运行人员对于电网动态变化有了实时监测与分析的手段,但WAMS所产生的海量数据以及对于分析平台的高效率要求是WAMS应用的一大挑战。本文深入研究了基于hadoop云计算平台的线路参数并行辨识算法,并提出算法的设计思路以及实现方法,为高效利用WAMS数据辨识线路参数给出了解决方法。对比实验证明基于云计算平台hadoop的线路参数并行辨识算法大大提高线路参数辨识算法的计算效能,适合处理该应用中的WAMS海量数据。

摘要：针对分布式云计算平台hadoop任务调度中由于网络时延而导致的调度不平衡问题,提出一种基于时隙优化的任务调度算法。充分参考当前网络条件,将其作为任务调度的重要参考依据,利用SDN对网络带宽的管理能力,根据时隙策略分配带宽,结合局部性原理决定将任务分派到本地还是低负载的其他节点,从全局角度保证任务本地化比例较高的前提下以最优的方式高效分派任务,以提高系统整体的任务处理能力。依据算法设计调度器设计并进行实验,实验结果验证了算法的调度质量。

摘要：为了解决大数据环境下如何高效地挖掘关联规则并进行增量更新,在原有的fast updating pruning(FUP)算法基础上,首先提出一种基于矩阵的关联规则增量更新方法(MFUP),该方法将数据集转化成布尔矩阵,减少对数据集的扫描次数以及数据集的存储量;然后将MFUP与hadoop分布式计算框架结合,提出一种分布式环境下的新算法Cloud MFUP(CMFUP);最后通过设计实验进行对比分析。结果表明,在挖掘相同数据量的关联规则并进行增量更新时,MFUP算法相比FUP算法执行时间更少,且随着数据集的增加,其增速更慢;对比CMFUP与MRFUP算法表明,随着分布式环境下数据集的增加,前者较后者执行时间更短增速更慢。

摘要：MapReduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理。然而,MapReduce欠缺对多数据源、组件复用以及数据可视化支持,这些缺点使用户在运用MapReduce框架进行数据挖掘时暴露出开发效率低下,重复开发等问题。提出了一种基于MapReduce的数据挖掘平台的设计与实现,该设计思想为hadoop作为大规模数据计算平台在数据挖掘、数据可视化以及商业智能应用方面的不足提供了参考与弥补。同时,基于该方法实现了一个大规模数据挖掘工具。

摘要：针对GNSS大网在海量数据存储和解算方面面临的挑战,设计了从基础设施、数据管理、计算和服务到应用的GNSS分布式存储与解算体系结构;基于HDFS改进了GNSS数据存储目录结构;基于HBase设计了GNSS数据存储表结构;基于MapReduce提出了GNSS大网分区分布式解算策略。实验搭建了分布式平台,实现了GNSS数据分布式存储、并行检索和发布以及GNSS大网分区分布式解算,存储和解算性能均得到了较大提高。结果表明,所提出的方法可用于GNSS大网数据存储和解算。

摘要：从统计学视角研究了大数据分析问题,以当前较为流行的hadoop云计算平台为基础,分析设计了海量数据描述统计分析的整体架构,分析了相关统计分析算法的特点并给出了实现的具体思路。最后通过实际数据进行了实验性验证,取得了较为理想的效果,为海量数据的统计分析提供了一个可供借鉴的新思路。

摘要：为了提高BP神经网络算法的分类准确率和运行时间效率,利用PSO算法和并行化设计的思想,提出了hadoop平台下基于MapReduce的PSO优化BP神经网络的并行化设计及实现方法。利用PSO算法优化BP神经网络的初始权值和阈值,提高算法分类准确率;采用MapReduce并行编程模型实现算法的并行化处理,解决了BP神经网络在处理大规模样本数据集时存在的硬件开销和通信开销大的问题。选用SUN Database场景图像库构造了5个不同规模的数据集,通过与传统的串行PSO-BP神经网络算法实验对比,并行化的PSO-BP神经网络算法分类准确率达92%左右,系统效率在0.85左右,在处理大规模数据集时具有明显的优越性。

摘要：云计算是目前国际和国内新兴的一项热门技术,正在给人们的生产生活方式带来深刻的变革;在分布式文件系统中,为了实现数据的可用性和持久性,数据通常被分割成大小相同的文件块,通过多副本的形式分布存储在不同地理位置;大型的云计算服务提供商拥有自己的数据中心,这些数据中心往往分布在世界的不同角落,数据以副本的形式分布在不同的地理位置可以实现更好的容错机制,从而提供高可用的持久化的数据存储;文章主要研究了海量大数据存储系统设计,系统设计以hadoop为平台,提出了一种新的基于云计算环境的海量大数据存储设计方法,主要给出了文件存储方案设计以及副本方案设计等,为云计算海量数据存储与管理提供了一种可行的关键技术方案。

摘要：为了提高遗传k-means算法时间效率和聚类结果的正确率,利用遗传算法的粗粒度并行化设计思想,提出了在hadoop平台下将遗传k-means算法进行并行化设计。将各个子种群编号作为个体区分,个体所包含的各个聚类中心和其适应度作为值共同作为个体的输入;在并行化过程中,设计了较优的种群迁移策略来避免早熟现象的发生。实验对不同的数据集进行处理,实验结果表明,并行化的遗传k-means算法在处理较大数据集时比传统的串行算法在时间上和最后的结果上都具有明显的优越性。