摘要：利用当前算法滤除数据冗余点时,缺少对数据冗余点特征的提取、分类处理过程,导致滤除效率差、准确率低、存储开销过大。于是设计了基于HDFS的海量日志数据冗余点过滤算法。引入HDFS体系架构,利用数据采样时间序列获取数据冗余点的特征,并进行分类处理,提升冗余点的滤除效率;计算滤除前含有冗余特征的数据字节数与普通字节数之比的缩减率、误判率,减少存储开销量;为提高准确率、消除性能,采用相似度概念,根据冗余点的突出特征计算整体相似度,再通过均值漂移传递函数实现对数据冗余点的滤除。实验结果表明:上述算法滤出效率更好、准确率更高、存储开销量更小。

摘要：随着闪存技术的不断成熟,基于闪存的固态硬盘(solid state drive,SSD)迅速发展。然而,SSD具有不同于磁盘的特性,使得传统基于磁盘设计的索引不适用于闪存环境,因此面向闪存索引机制的研究与优化迅速开展。通过对目前闪存索引的广泛调研,从索引更新策略的角度,分析了它们的优缺点,旨在为SSD算法设计和索引开发提供系统的、有价值的参考。最后讨论了该领域未来的发展趋势和新的研究方向。