摘要：针对传统远程备份中大量冗余数据导致备份效率低下和存储空间浪费的问题,设计并实现了一个基于重复数据删除的远程备份系统。首先根据文件的内容用Rabin指纹将备份文件划分为变长的数据块,把每个数据块的相关信息发送到备份中心,在备份中心利用Google Bigtable及Leveldb的索引算法辅以布隆过滤器对数据块进行判重,最后只传输和存储不重复的数据块。实验结果表明,采用该系统备份相似的数据集能够有效删除其中的重复数据。对数据集进行增量备份,在增量数据变化不大时,相比Rsync备份有更少的网络流量。

摘要：在云计算环境中,基础设施即服务的日益发展导致虚拟机和虚拟机镜像的急剧增加,例如,Amazon Elastic Compute Cloud(EC2)有6521个公共虚拟机镜像文件,这给云环境的管理带来了极大的挑战,特别是大量镜像文件带来的重复数据的空间存储问题。为解决这一问题,提出一种基于固定分块的镜像文件重复数据删除的存储方案。当存储一个镜像文件时,先计算该镜像文件的指纹,并与指纹库的指纹比较,若存在则用指针替代,否则采用固定分块对镜像文件分割存储。为此,可以设计镜像文件元数据格式和镜像文件MD5索引表来解决上述问题。实验结果表明,内容相同的镜像文件只是元数据的开销并实现秒传,而相同版本、相同系统、不同软件的镜像组的重删率约达到58%。因此,本方案是非常有效的。

摘要：针对当今企业海量数据的增长给数据容灾系统的存储容量、处理能力？、数据传输带宽带来巨大压力的现状，设计了一种基于重复数据删除技术的数据容灾系统。通过I／O吞吐量、cPU利用率、响应时间、数据备份时间和重复数据删除率等指标对数据容灾系统性能进行了测试，测试结果表明数据容灾系统对应用服务器响应时间的影响甚小，重复数据删除效果显著。

摘要：在重复数据删除技术对降低存储设备成本等具有重要意义。重复数据删除系统通常会面临数据查询引发的硬盘瓶颈问题,而现有的硬盘瓶颈优化方案在面对海量数据处理请求时又有一定的局限性。针对上述问题,本文提出了一个有效的基于相似性的分布式重复数据删除模型(Similarity-based Distributed Duplication Elimination Model,SD2EM)。利用Extreme Binning技术的分布特性,优化Extreme Binning的优先索引表,设计基于Hadoop架构的分布式去重模型,并通过分割相似集、循环去重的方式使基于相似性的去重技术达到更细的粒度。最后,基于大规模真实数据的实验表明,SD2EM模型在数据缩减率、内存占用率、系统吞吐率和运行时间等方面都表现出很好的性能,更适合在海量数据背景下重复数据删除的处理需求。

摘要：首先介绍了烟草工业灾备中重复数据删除技术重要要性,然后介绍了重复数据删除的最主要两种方法:基于哈希算法的重复数据删除和基于内容识别的重复数据删除。最后重点分析设计了适用于某综合营销平台系统数据备份恢复的重复数据删除策略,以减少网络带宽占用、节省存储空间、保护业务数据,为综合营销和智能决策的发展提供强有力的支撑。

摘要：重复数据删除已广泛应用在公共云服务中,该技术指相同的数据副本只在云服务器存储一次,若有相同副本出现,则云服务器为上传者创建访问该数据副本的链接.数据的哈希值相同则证明数据相同,这使得明文数据重复删除较为简单.然而多数用户为保护数据隐私,通常选择使用私有密钥对数据加密,然后外包至云服务器.由于用户密钥多样化,导致相同明文被加密为不同密文,云服务器无法执行重复数据删除.现存解决方案多数依赖于第三方服务器,导致方案的安全性与执行效率较低.提出一种无需可信第三方的重复数据删除方案.使用口令认证密钥交换协议与双线性映射构建加密数据冗余性识别算法,安全验证不同加密数据是否源自相同明文数据.采用同态加密算法设计加密密钥传递算法,初识上传者能够通过云服务器将加密密钥安全传递至后继上传者.持有相同数据的用户能够获取相同加密密钥,使云服务器能够实现加密数据重复删除.安全性分析与性能评估体现本文方案拥有较高的安全性与执行效率.

摘要：数据备份采用传统的D2T备份方式,由于受到磁带顺序读写机制和速度的限制,无法保证系统对数据备份窗口及恢复窗口的高要求,因此,出现了删除重复数据的D2D2T数据备份方式。这种方式不仅减少了数据的重复,提高了数据备份速度,而且,大大减少了备份数据工作量,降低存储数据设备的容量。

摘要：为对Web大数据环境下的相似重复冗余数据进行清理,降低数据存储与管理的时间和成本,提出Web大数据相似重复数据清理方法。对Web数据进行预处理,提出相似哈希的实现算法计算各数据信息的相似度,对于满足特定阈值的相似数据信息,保留其中一个及其副本,其余数据信息保存该数据信息的地址。使用该方法在Hadoop平台上对多个网站的Web数据进行实验,实验结果表明,该方法具有良好的精确性及数据缩减效果。

摘要：随着重复数据删除次数的增加,系统中用于存储指纹索引的清单文件等元数据信息会不断累积,导致不可忽视的存储资源开销。因此,如何在不影响重复数据删除率的基础上,对重复数据删除过程中产生的元数据信息进行压缩,从而减小查重索引,是进一步提高重复数据删除效率和存储资源利用率的重要因素。针对查重元数据中存在大量冗余数据,提出了一种基于压缩近邻的查重元数据去冗算法Dedup2。该算法先利用聚类算法将查重元数据分为若干类,然后利用压缩近邻算法消除查重元数据中相似度较高的数据以获得查重子集,并在该查重子集上利用文件相似性对数据对象进行重复数据删除操作。实验结果表明,Dedup2可以在保持近似的重复数据删除比的基础上,将查重索引大小压缩50%以上。

摘要：针对基于重删后云存储系统中数据碎片引起恢复性能降低的问题,采用自适应碎片分组设计了一个云存储系统中重删后优化数据恢复的处理方法.该方法不使用固定大小的读窗口,根据数据块地址关联性分成可变大小的逻辑组,旨在选择有限数量的容器,为备份提供更多不同的引用块,减少所选容器中重复或未引用块的数量,减少磁盘访问,以精确识别和删除碎片数据,提升数据恢复性能以及重删率.实验结果表明,该方法在提高恢复性能的同时减少重写数据量.