基于大数据的电力系统数据集成管理平台设计

作     者：江疆 梁盈威 彭泽武 冯歆尧 谢瀚阳 JIANG Jiang;LIANG Ying⁃wei;PENG Ze⁃wu;FENG Xin⁃yao;XIE Yu⁃yang

作者机构：广东电网有限责任公司广东广州510000 广东电网有限责任公司信息中心广东广州510000 

基　　金：中国南方电网科技项目(037800HK42180048) 

出 版 物：《电子设计工程》 (Electronic Design Engineering)

年 卷 期：2020年第28卷第14期

页      码：163-166页

摘      要：针对当前电力数据海量异构和共享度不高的问题,结合Hadoop和电力企业数据共享的必要性,提出一种基于Hadoop的数据集成管理平台。为实现该平台,首先利用HDFS分布式文件系统对元数据进行管理,以提高海量数据的集成管理效率;采用HBase的数据共享模式,提高数据共享度;最后针对传统Apriori算法的问题,对Apriori算法进行改进,具体则是引入MapRduce并行化处理框架对算法进行设计,以提高Apriori算法运算效率,进而达到提高电力元数据挖掘效率。最后搭建Hadoop平台,验证上述平台在对海量电力元数据挖掘中的效率。

主 题 词：Hadoop架构 元数据 集成管理 Apriori算法 

学科分类：0809[工学-计算机类] 08[工学] 

D　O　I：10.14022/j.issn1674-6236.2020.14.036

馆 藏 号：203954499...