流式大数据平台下的弹性数据迁移能效优化策略

作     者：蒲勇霖 许小龙 于炯 李梓杨 国冰磊 PU Yonglin;XU Xiaolong;YU Jiong;LI Ziyang;GUO Binglei

作者机构：南京信息工程大学软件学院江苏南京210044 新疆大学软件学院新疆乌鲁木齐830002 湖北文理学院计算机工程学院湖北襄阳441053 

基　　金：国家自然科学基金资助项目(No.62262064) 新疆维吾尔自治区重点研发计划基金资助项目(No.2022295358) 江苏省高等学校自然科学基金资助项目(No.23KJB520019) 新疆维吾尔自治区自然科学基金资助项目(No.2022D01C56) 湖北省自然科学基金资助项目(No.2022CFB805) 

出 版 物：《通信学报》 (Journal on Communications)

年 卷 期：2024年第45卷第2期

页      码：188-200页

摘      要：针对流式计算框架在最初设计时缺乏能效方面的考虑,导致其存在高能耗与低效率的问题,提出一种流式大数据平台下的弹性数据迁移节能优化策略。首先,建立负载预测模型与资源判定模型,并进一步设计负载预测算法,通过预测负载变化趋势确定节点资源占用,找到资源过载与过剩节点;其次,建立资源约束模型与最优数据迁移模型,由此提出最优数据迁移算法,以提高节点资源利用率为目的进行数据迁移;最后,建立能耗模型,计算集群进行数据迁移后节约的能耗。实验结果表明,数据迁移节能优化策略能够对集群内节点资源变化做出及时响应,并在提高节点资源利用率的基础上,有效提高集群数据处理的能效。

主 题 词：流式计算 负载预测 资源约束 数据迁移 能效 

学科分类：080903[080903] 0809[工学-计算机类] 08[工学] 080501[080501] 0805[工学-能源动力学] 080502[080502] 0713[0713] 

核心收录：

D　O　I：10.11959/j.issn.1000-436x.2024006

馆 藏 号：203126698...