摘要：在大规模新能源的新型电力系统中,由于云端电力数据存在结构复杂、数据量大及多维度的特点,因此不利于发挥数据对运行的指导作用,甚至有可能危害电力系统的安全、稳定运行。针对上述问题,文中提出了一种基于mapreduce的电网数据分析方法。其将云计算应用于新型电力系统,并构建了基于mapreduce云计算模型的并行化处理算法,进而提升了系统的响应速度。通过将该方法应用于电网的数据处理结果表明,所提方法可以有效地提高电网运行数据处理的准确性和工作效率。在海量数据的工况下,其处理效率约为30 min,且随着数据量的增加仍可保持稳定性与准确性,实现了网格化的并行分析。

摘要：[研究目的]为解决mapreduce、Spark等主流分布式计算框架存在的研发周期长、技术门槛高等问题,提出了一种高灵活、低门槛的高性能计算框架ArticleCF。[研究方法]ArticleCF框架吸收了主流分布式技术的优点,同时深度结合科技文献数据治理的特性,设计了Master/Slave的软件架构,在功能上针对科技文献数据特点进行多个维度的设计,重点设计了分布式任务分发策略、并行计算策略以及故障转移机制。[研究结论]通过21个指标将ArticleCF与mapreduce、Spark、Storm进行对比实验,有效验证所提方法的可行性、有效性,ArticleCF能够满足海量结构化科技文献数据的多样化处理需求。

摘要：针对mapreduce计算框架处理倾斜数据集时造成Reduce端出现负载不均衡现象,提出一种动态均衡分区策略。在mapper阶段提出基于分治法的数据切分原则处理任务传入的数据组;结合最佳适应算法思想设计动态分配原则逐步将切分后的数据块均衡分配到预分区链表中;根据分区索引分配到各Reduce节点上实现负载均衡。实验结果显示,动态均衡分区策略与两个基准模型相比任务执行时长平均降低了7.7%,表明动态均衡分区策略更好地解决了数据倾斜问题,降低了任务执行时间,验证了模型的有效性。

摘要：随着新型电力系统发展,输电监测文本数据呈现出体量大、增速快等特点,且因行业数据传输协议私有化,导致数据检索性能低,影响输电线路实时决策分析。因此提出了基于mapreduce的输电监测数据智能检索模型。首先,改进了SimHash算法,实现输电线路在线监测文本数据检索向量的高效提取。并引入多属性决策以及综合评分机制,实现目标数据的精准检索,提升数据的检索精度及查全率。其次,针对数据体量大、增速快的特点,设计了基于mapreduce的电力数据检索模型。最后,通过电网实例对比分析,验证了所提方法的检索精度、查全率及检索效率。

摘要：目前水电站大坝运行安全在线监控系统中自动化任务涉及数据处理、信息推送、消息通知和系统监控等多个模块,各模块的自动化任务独立管理维护,存在执行标准不统一、记录不规范及管理混乱等问题,导致自动化任务执行效率低,运维难度大。为解决这一问题,系统引入了PowerJob分布式任务调度平台,充分利用其集中管理、可视化、高可靠性和在线日志追溯等优势对自动化任务进行优化改造,通过PowerJob实现了任务集中配置、集中调度、多节点并行执行、工作流编排和实时监控等功能,并进行了针对性的扩展开发以满足大坝监控系统的自动化任务执行需求,提高了自动化任务的执行效率和运维便利性。

摘要：随着6G的发展,云端、边缘端和终端节点间的协作是当下的研究热点,而Map Reduce则是面向大规模数据处理的并行计算模型。将Map Reduce与云-边-端架构相结合,提出基于放置分发阵列的云-边-端协同计算和传输设计架构。该架构充分利用云端和边缘端丰富的计算和存储资源,在边缘端和终端部署冗余计算任务,借助多播编码,成倍地减小云-边链路和边-端链路之间的通信负载,从而实现云-边-端之间通信与计算的协同,高效地服务终端的计算需求。

摘要：Skyline查询是一种非常耗时的操作,而涉及多个表的Skyline查询(Skyline-join查询)则会给数据库系统带来更多的负载,从而影响整个系统的响应时间.为解决这个问题,提出了基于Google设计的MapRe-duce并行处理框架的Skyline-join查询处理算法,采用分片剪枝的方法降低复杂度,进而提高查询性能.在Amazon的云计算平台(EC2)上进行的实验表明,该算法可以有效减少冗余操作和网络数据传输,基本不受节点个数以及数据量的影响,具有很好的可扩展性.

摘要：mapreduce是一种适用于大规模数据密集型应用的有效编程模型,具有编程简单、易于扩展、容错性好等特点,已在并行和分布式计算领域得到了广泛且成功的应用.由于mapreduce将计算扩展到大规模的机器集群上,处理数据的合理放置成为影响mapreduce集群系统性能(包括能耗、资源利用率、通信和I/O代价、响应时间、系统的可靠性和吞吐率等)的关键因素之一.首先,对mapreduce编程模型的典型实现——Hadoop缺省的数据放置策略进行分析,并进一步讨论了mapreduce框架下,设计数据放置策略时需考虑的关键问题和衡量数据放置策略的标准;其次,对目前mapreduce集群环境下的数据放置策略优化方法的研究与进展进行了综述和分析;最后,分析和归纳了mapreduce集群环境下数据放置策略的下一步研究工作.

摘要：图像数据作为大数据的重要组成部分蕴含着丰富的知识,且图像分类有着广泛的应用,利用传统分类方法已经无法满足实时计算的需求.针对此问题,提出并行在线极端学习机算法.首先利用在线极端学习机理论得到隐层输出权值矩阵;其次根据mapreduce计算框架的特点对该矩阵进行分割,以代替原有大规模矩阵累乘操作,并将分割后的多个矩阵在不同工作节点上并行计算;最后将计算节点上的结果按键值合并,得到最终的分类器.在保证原有计算精度的前提下,将文中算法在mapreduce框架上进行拓展,以人脸图像为例对大规模图像数据进行分类的结果表明,该算法能够针对大数据图像进行快速、准确的分类.

摘要：针对大规模高维数据近似查询效率低下的问题,利用mapreduce编程模型在大规模集群上的数据与任务的并行计算与处理优势,提出mapreduce框架下大规模高维数据索引及KNN查询方法(i PBM),重点突破mapreduce数据块(block)的优化划分与各数据块对计算的共同贡献两大难题,利用两阶段数据划分策略并依据相关性与并行性原则将数据均匀分配到各数据块中,设计分布式的双层空间索引结构与并行KNN查询算法,检索时利用全局索引、局部索引与二维位码索引实现三层数据过滤,大幅缩小搜索范围并降低高维向量计算代价,实验表明i PBM对大规模高维数据的近似查询具有准确性、高效性和扩展性.