基于Ceph存储的数据均衡分布算法

作     者：苗宇豪 范中磊 张墨翟 杨柳 MIAO Yuhao;FAN Zhonglei;ZHANG Modi;YANG Liu

作者机构：长安大学信息工程学院陕西西安710064 

基　　金：中央高校基本科研业务费专项(CHD2011TD009) 

出 版 物：《微电子学与计算机》 (Microelectronics & Computer)

年 卷 期：2024年第41卷第3期

页      码：90-97页

摘      要：针对Ceph分布式存储系统中可扩展哈希下的受控复制(Controlled Replication Under Scalable Hashing,CRUSH)数据分布算法导致设备间存储数据容量之差达到40%,进而在数据量大、高并发情况下“热点”成为系统性能瓶颈的问题,本文对CRUSH算法进行深入研究,设计并实现了Writing_Balance算法来对数据分布进行性能优化,以达到消除“热点”所导致的负载失衡以及磁盘利用率过高的问题。通过实验发现,Writing_Balance算法可使“热点”的PG数量分布优化率较之前提升4.4%;磁盘利用率稳定性提高了3%左右;并且在较小输入key空间下对于数据整体均衡度优化也有明显的提升。

主 题 词：Ceph分布式存储 数据分布均衡性 可扩展哈希下的受控复制 数据分布算法 

学科分类：08[工学] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.19304/J.ISSN1000-7180.2023.0180

馆 藏 号：203127208...