基于Spark框架的能源互联网电力能源大数据清洗模型

作     者：曲朝阳 张艺竞 王永文 赵莹 Qu Zhaoyang;Zhang Yijing;Wang Yongwen;Zhao Ying

作者机构：东北电力大学信息工程学院吉林吉林132012 

基　　金：国家自然科学基金资助项目(51277023) 吉林省科技计划重点转化项目(20140307008GX) 

出 版 物：《电测与仪表》 (Electrical Measurement & Instrumentation)

年 卷 期：2018年第55卷第2期

页      码：39-44页

摘      要：对能源大数据清洗可提高能源大数据质量的正确性、完整性、一致性、可靠性。针对能源大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题,提出了一种基于Spark框架的能源能源大数据清洗模型。首先基于改进CURE聚类算法获取正常簇;其次,实现了正常簇的边界样本获取方法,并设计了基于边界样本的异常识别算法;最后通过指数加权移动平均数实现了异常数据修正。通过对某风电场风力发电监测数据进行了数据清洗实验分析,验证了清洗模型的高效性、准确性。

主 题 词：能源大数据 数据清洗 异常识别 异常修正 Spark框架 

学科分类：080702[080702] 08[工学] 0807[工学-电子信息类] 

D　O　I：10.3969/j.issn.1001-1390.2018.02.007

馆 藏 号：203282726...