摘要：波形信号是电力设备监测中常见的数据形式,波形信号处理在大数据背景下成为计算和数据双重密集型问题。集合经验模态分解(EEMD)的自适应性在分析非线性、非平稳信号时具有优势,但高计算量限制了其应用。通过对EEMD算法处理波形信号时的并行性分析,在Spark计算平台下设计并实现了波形分段并行与经验模态分解(EMD)过程并行这两种不同结构的并行EEMD算法。波形分段并行适用于较长的波形信号,但结果存在部分误差,而EMD过程并行能获得与原算法一致的结果,但对内存的需求更大,适于数据量不大的波形信号。将并行EEMD算法用于局部放电(PD)波形信号的特征提取,计算固有模态分量的能量参数与样本熵作为特征量。实验结果表明,利用所提特征量能有效区分多种PD类型,所提并行EEMD算法与现有EEMD算法相比计算效率更高,减少了特征提取过程的耗时。

摘要：计算性能是制约电力大数据应用(基于大数据的故障诊断、预测等)的关键问题。利用分布式存储、并行计算加速此类数据密集型应用是目前较有效的手段。尝试利用阿里云开放数据处理服务(ODPS)存储并加速电力设备监测大数据分析过程。以变压器局部放电(PD)数据相位图谱分析(PRPD)为例,提出了适合高采样率、时序性强的局部放电信号数据存储方法。采用ODPS扩展MapReduce模型(MR2)设计了"Map-Reduce-Reduce"方式的PD信号宏观特征提取方法,提出了并行化PRPD分析算法(ODPS-PRPD),实现了大量PD信号的并行基本参数提取、统计特征计算与放电类型识别。在实验室中构造了4种放电模型并采集了大量PD信号,分别在ODPS平台上和实验室自建的Hadoop平台上进行了性能评估和成本分析。实验分析和结果表明,ODPS-PRPD将大量的中间过程数据(PD谱图数据等)一直保存在内存中,相比自建Hadoop MapReduce平台性能明显提升,并在数据可靠性、服务可用性以及成本方面具有明显优势。

摘要：结合大数据技术提升输变电设备状态评价的广度和深度,并解决实际应用问题成为目前电力行业新的挑战。针对输变电设备状态监测大数据可靠存储和快速访问两方面大数据处理核心问题,基于开源的Hadoop云计算实验平台进行了数据分布策略、数据块尺寸调优、集群网络拓扑规划三方面的存储优化研究和大数据并行分析的研究。提出计及数据相关性的多副本一致哈希数据存储算法,能将具有相关性的数据在集群中聚集,提升数据处理执行效率。基于数据相关性多副本一致哈希数据分布,应用Map Reduce并行编程模型设计实现了多数据源并行连接查询算法和多通道数据融合并行特征提取算法。将两种算法在实验室搭建的集群上测试运行,结果表明,多数据源并行连接查询的执行时间仅为标准Hadoop方案的32%,多通道数据融合并行特征提取算法执行时间仅为标准Hadoop方案的35%。

摘要：针对传统联机分析处理(OLAP)处理大数据时实时响应能力差的问题,研究基于分布式内存计算框架Spark加速的数据立方体计算方法,设计基于Spark内存集群的自底向上构造(BUC)算法——BUCPark,来提高BUC的并行度和大数据适应能力。在此基础上,为避免内存中迭代的立方体单元膨胀,基于内存重复利用和共享的思想设计改进的BUCPark算法——LBUCPark。实验结果表明:LBUCPark算法性能优于BUC算法和BUCPark算法,能够胜任大数据背景下的快速数据立方体计算任务。

摘要：针对电力物联网对终端海量连接以及智能感知需求,边缘物联代理作为物联网边界接入设备能够有效管控各类业务终端。文章在分析物联网终端接入需求基础上,提出了边缘代理设备的功能和性能要求,给出了模型加载、报文转发处理、边缘计算业务流程,针对电力物联网业务应用场景,在终端准入、数据传输、业务监测3个方面引入安全防护策略,并给出实现流程,将安全边界进一步下沉,实现了终端的安全认证和数据加密,确保边缘物联代理的安全性和可靠性。