基于迭代MapReduce的混合云大数据分析

作     者：颜烨 张学文 王立婧 YAN Ye;ZHANG Xue-wen;WANG Li-jing

作者机构：重庆大学城市科技学院电气信息学院重庆402167 北华大学机械工程学院吉林吉林132021 重庆大学城市科技学院人文学院重庆402167 

基　　金：吉林省自然科学基金项目(20150101025JC) 高档数控机床科学与基础制造装备科技重大专项基金项目(2015ZX040003002) 2018年重庆市本科高校大数据智能化类特色专业建设基金项目(渝教高发12号) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2021年第42卷第4期

页      码：1028-1035页

摘      要：现有混合云平台运行大数据分析等数据密集型工作负载存在数据迁移开销大、执行时间长等问题,提出基于迭代MapReduce的大数据分析方法。提出一种数据存储和数据迁移机制,迭代时将初始不变量从私有云迁移至公有云,无需修改MapReduce框架或底层存储层;利用随机森林估计所提迭代MapReduce应用程序所需的计算时间。OpenStack混合云实验结果表明,相比传统方案,提出方法仅增加了初始迭代的运行时间,最终完成时间比传统方法节约12.6%以上。此外,提出的性能预测方法的误差率可保持在19.54%以内。

主 题 词：混合云 大数据分析 迭代MapReduce 数据迁移 随机森林算法 性能预测 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2021.04.019

馆 藏 号：203102745...