摘要：日志结构合并树(log-structured merge tree, LSM-Tree)是一种针对写优化的数据结构,广泛应用于当代主流键值存储系统之中,用于处理当今世界海量多样化的数据.LSM-Tree通过批量处理的方式将随机写请求转换为顺序写请求,以保持极高的写效率.但LSM-Tree仍存在2个不足:一是数据的流动方向是单向的且固定不变.存储在LSM-Tree底部的数据将被一直保留底部,直到它们成为旧数据被压缩操作删除.访问这些数据将使读放大问题变得更加严重.二是LSM-Tree中的数据分布并未考虑访问频率的影响,这将导致访问延迟不平衡的问题.访问高频的低层数据将产生更高的访问延迟.提出了一种基于访问频率分布的上浮式键值存储结构(floating key-value, FloatKV).FloatKV首先在内存中提出了一种新的数据存储结构(LRU and FIFO, LRFO),其次在外存中设计了一种基于访问频率分布的上浮式键值存储策略.FloatKV记录外存中数据的访问频率,并根据访问频率来调整数据的存储位置,以减少访问延迟.为了验证FloatKV的可行性以及性能,使用标准数据库性能测试工具YSCB(yahoo! cloud serving benchmark)来进行评估,并将FloatKV与当前主流的技术进行比较.实验结果表明,FloatKV能够显著地提高读效率,并有效地减少了读放大问题.

摘要：布隆过滤器常用于联盟链Hyperledger Fabric状态数据库LevelDB的读性能优化,但布隆过滤器本身存在误报现象,且LevelDB只能对布隆过滤器进行统一配置而无法自适应调整。为此,提出一种单元化的部分计数式布隆过滤器(partial counting Bloom filter,PCBF)构造方案,设计可并行计算的元素插入与查询机制并结合双重哈希及非加密哈希来实现快速插入与查询;基于开启过滤器单元与访问次数构建排序字符串表优先级,使用时间片轮询算法对过滤器单元进行自适应调整,实现了资源的合理分配。实验结果表明:PCBF具有较高的插入效率,并能减少20%左右的误报数量,适用于联盟链的高并发场景。

摘要：为满足大数据时代下数据库系统高吞吐、低内存占用的索引设计需求,提出一种面向海量数据的基于birch聚类可更新机器学习索引模型。将数据集使用birch聚类进行划分,对分段数据分别使用前馈神经网络进行训练拟合,采用基于日志结构合并树延迟更新思路的异地插入策略,实现索引更新操作。使用真实数据集进行实验,其结果表明,相比传统索引和当前先进机器学习索引结构,该模型在检索速度上有一定提升,在插入性能、内存占用和训练时间上有较大优化。

摘要：具有高性能以及非易失特性的SCM(Storage Class Memory,存储级内存)技术逐渐成熟并开始运用到存储系统设计中,而传统的SSD仍然在存储容量上具有优势,为键值存储系统提供大容量存储的支持。现有键值存储系统不能充分发挥SCM与SSD混合存储架构的优势,需要对数据布局以及系统结构进行重新设计。针对SCM和SSD的特点,设计了基于SCM与SSD的混合式高效键值存储系统(SCM and SSD Hybrid Key-Valuestore,SSHKV)。SSHKV通过将键值存储中元数据信息存储到SCM中,将数据部分以日志方式存储到SSD中,实现性能与容量的兼顾。在SSD空间管理上,SSHKV采用逻辑空间放大策略,通过重映射TRIM指令释放的无效空间,减小了垃圾回收带来的数据迁移开销。SSHKV基于半异步半同步式IO模型实现,经过对比测试,SSHKV的随机写入性能相较于传统基于LSM-Tree的LevelDB提升了约20倍。

摘要：由于分层结构的约束,基于日志结构合并(LSM)树的RocksDB键值存储系统面临着读取性能低下的问题。一种有效的解决方法是对热点数据进行主动缓存,但其面临两个挑战:一是如何在数据分布持续动态变化时对热点数据进行预测,二是如何将主动缓存机制与RocksDB存储结构衔接起来。针对这些挑战,基于预测分析技术,构建了由数据采集、系统交互、系统测试等部分组成的面向RocksDB键值系统的主动缓存框架,能够将热点数据缓存在LSM树的较低层级中;并对数据访问模式进行建模,设计并实现了基于增量学习的热点数据预测分析方法,能够有效减少存储介质的I/O访问次数。实验结果表明该机制能有效提升RocksDB在不同动态工作负载下的数据读取性能。

摘要：日志结构合并树(LSM-tree)因能利用外存设备的顺序访问性能,被广泛应用于键值存储系统的核心数据结构.由于LSM-tree层次化的、有序的数据组织结构需要通过大量的数据合并操作维护,故引起了严重的写放大效应.最近的研究工作提出了若干优化方案缓解LSM-tree的写放大,但是牺牲了查询性能和空间利用率.为此基于LSM-tree的键值存储系统提出一种新的架构,其核心设计是采用键值分离的方案降低数据合并开销,并以一种新型的树状结构vTree为值维护一定程度有序性,保障高效的范围查询;同时为vTree设计了相应的数据合并和空间回收方法.实验结果表明,基于该架构实现的键值存储系统在写入、点查询、范围查询各方面有均衡的高性能表现,且空间开销较低.