面向NVM的IoT时序数据多态协作压缩策略

作     者：蔡涛 雷天乐 牛德姣 戴健飞 黄泽宇 倪强强 CAI Tao;LEI Tianle;NIU Dejiao;DAI Jianfei;HUANG Zeyu;NI Qiangqiang

作者机构：江苏大学计算机科学与通信工程学院江苏镇江212013 

基　　金：国家重点研发计划项目(No.2019YFB1600500) 

出 版 物：《大数据》 (Big Data Research)

年 卷 期：2024年第10卷第4期

页      码：34-50页

摘      要：压缩策略是影响IoT时序数据存储系统性能的重要因素,而现有压缩策略缺乏针对NVM与IoT时序数据特性的优化机制。因此,提出了面向NVM的IoT时序数据多态协作压缩策略。首先,给出了IoT时序数据的组织结构。然后,针对IoT时序数据在一段时间内较稳定以及在用户态与内核态读写NVM适合的粒度差异较大的情况,设计了分层压缩策略。在用户态接收数据时,采用轻量级的数据压缩算法减少需存储的数据量,也减小了对IoT时序数据的存储效率的影响;针对IoT系统以查询和分析异常时序数据为主的特性,设计了深度压缩算法,在内核态对历史IoT时序数据进行深度压缩。其次,针对深度压缩历史IoT时序数据与存储新接收的IoT时序数据之间对NVM带宽的竞争,提出了写带宽保证的动态调整算法。最后,构建了面向NVM的IoT时序数据多态协作压缩策略原型PCCTSMS,并使用YCSB-TS工具进行测试与分析。实验结果表明,与InfluxDB、OpenTSDB、KairosDB和TVStore相比,PCCTSMS最高能提升161.3%的写吞吐率以及减少14.6%的存储空间。

主 题 词：数据压缩 IoT 时序数据 非易失性内存 存储系统 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.11959/j.issn.2096-0271.2024048

馆 藏 号：203133597...