Spark环境下并行立方体计算方法

作     者：萨初日拉 周国亮 时磊 王刘旺 石鑫 朱永利 SA Churila;ZHOU Guoliang;SHI Lei;WANG Liuwang;SHI Xin;ZHU Yongli

作者机构：华北电力大学控制与计算机工程学院河北保定071003 

基　　金：河北省自然科学基金资助项目(F2014502069)~~ 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2016年第36卷第2期

页      码：348-352页

摘      要：针对传统联机分析处理(OLAP)处理大数据时实时响应能力差的问题,研究基于分布式内存计算框架Spark加速的数据立方体计算方法,设计基于Spark内存集群的自底向上构造(BUC)算法——BUCPark,来提高BUC的并行度和大数据适应能力。在此基础上,为避免内存中迭代的立方体单元膨胀,基于内存重复利用和共享的思想设计改进的BUCPark算法——LBUCPark。实验结果表明:LBUCPark算法性能优于BUC算法和BUCPark算法,能够胜任大数据背景下的快速数据立方体计算任务。

主 题 词：Spark 联机分析处理 数据立方体 自底向上构造 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 08[工学] 081201[081201] 0812[工学-测绘类] 

D　O　I：10.11772/j.issn.1001-9081.2016.02.0348

馆 藏 号：203139723...