多源异构的智能配用电数据存储处理技术

作     者：葛磊蛟 王守相 王尧 郭乃网 Ge Leijiao;Wang Shouxiang;Wang Yao;Guo Naiwang

作者机构：天津大学电气与自动化工程学院天津300072 河北工业大学电气工程学院天津300055 国网上海市电力公司上海200122 

基　　金：国家高技术研究发展计划(863计划)资助项目(2015AA050203) 

出 版 物：《电工技术学报》 (Transactions of China Electrotechnical Society)

年 卷 期：2015年第30卷第S2期

页      码：159-168页

摘      要：针对智能配用电数据具有海量、多源异构等特点,提出一种基于Hadoop的智能配用电数据存储处理的框架设计方案。在对智能配用电数据组成进行梳理的基础上,提出了智能配用电的资源、存储和查询三层数据存储框架。其中,资源层采用Hadoop集群架构,结合电力系统的行业特色,完成IT存储资源管理;存储层则先采用XML技术进行数据预处理,使非结构化数据归一化,然后利用No SQL数据库通过Map和Reduce的有效结合,完成海量数据的快速存储;查询层利用Top-k检索技术,实现海量数据的快速查寻。该设计方案能够对结构化和非结构化数据进行统一存储,可为智能配用电大数据技术的应用提供基础支撑。

主 题 词：大数据 海量数据 框架设计 智能配用电 

学科分类：080802[080802] 0808[工学-自动化类] 08[工学] 

核心收录：

D　O　I：10.19595/j.cnki.1000-6753.tces.2015.s2.024

馆 藏 号：203282877...