摘要：Key-Value(KV)是NoSQL系统中使用较为广泛的一种存储模型。针对当前主流NoSQL系统存在检索功能有限、内存容量小和宕机等问题,提出一种KV型NoSQL系统设计方法。使用可持久化的混合主索引结构解决范围查询和快速重启,采用数据分布算法和内外存混合存储技术,通过数据在内存和固态硬盘之间的智能调度,实现了大规模数据的高效存取和低成本存储。实验结果表明,与Redis相比,对于典型大小Value,该系统在单节点读写性能上提升约8倍,配置成本降低约3/4,在海量数据的低成本高效存储上有明显优势。

摘要：分布式缓存作为支撑海量数据处理的关键技术方案,近年来受到了广泛关注和应用。从分布式缓存的工程实践出发,研究分布式缓存系统的客户端关键技术,提出了一种针对分布式缓存系统客户端的优化设计,通过异步多线程、双缓冲队列、连接池组和精准重试等设计,较好地解决了抗突发业务量冲击、重试雪崩效应等痛点,提高了客户端的适应能力和性能。实验证明,相比原客户端,采用优化技术的客户端能更好地适应突发业务量的冲击。

摘要：在海量小文件存储场景下,传统分布式文件系统存在元数据服务器性能瓶颈、存储空间浪费严重、磁盘I/O效率低等问题。业界主要采用小文件聚合的方法解决这个问题,但现有研究依赖于从聚合结构到小文件的二次映射和查表检索等传统方法。文中提出一种基于对象文件系统的海量小文件优化方案,根据局部性特征将小文件聚合为文件组,使用算法直接进行对象数据存储位置的分布与定位,将低效的查表检索方式改变为高效快捷的“计算检索”方式,这更加适合大规模分布式系统的设计;在客户端采用小文件数据大粒度预读技术,聚合小粒度I/O为大粒度I/O,提升了磁盘访问效率,使用页面热缓存和温缓存两级队列管理及识别热数据,并利用文件的局部性特征提升缓存命中率。实验结果表明,在海量小文件随机读写场景下性能提升50%左右。

摘要：Kubernetes的诞生,降低了应用开发者对基础架构和运维团队的依赖,为其提供了强大的工具来编排和调度容器及虚拟机,已经成为分布式集群系统开发及管理的事实标准。Kubernetes通过核心组件HPA(Horizontal Pod Autoscaler)监测集群中CPU和内存的使用情况,并依据这些指标来对微服务集群进行扩容和缩容。但是这些简单的度量指标不能满足实际应用的扩缩容诉求,虽然在社区的最新版本中已经做出了改进,实际效果依然差强人意。本文在原生平台的基础上,设计一种叠加的弹性扩缩容系统E-HPA,可以通过灵活简易的配置方式提供丰富的用户可定制的度量指标,弥补Kubernetes在水平弹性扩缩容方面的缺陷和不足;阐述该系统的设计思想和具体实现细节,并以电信业务应用为例,验证其实验效果。