摘要：重复数据删除技术作为一种数据缩减技术,实现了对高度冗余数据集的压缩功能,可以有效地解决存储系统空间浪费所带来的成本开销问题。相较于过去大多针对小规模静态快照或是覆盖时间较短的快照的研究,该文基于从共享用户文件系统选取的覆盖时间较长的大规模快照,从文件、数据块以及用户的角度研究备份数据集的特征,分析不同数据分块方法、策略下去重性能的优缺点,得到最高的重复数据删除率,为未来的重复数据删除系统设计提出建议。

摘要：由于图像具有数量大、冗余多的特性,所以需要重复数据删除技术的支持,但已有的基于哈希值的文件重复删除技术不适用于图像去重.针对图像的去重面临以下三个挑战:需要支持图像模糊去重;需要对相似图像进行所有权认证;需要进行图像感知质量评价.针对以上挑战文中提出了一种支持所有权认证的客户端图像模糊去重方法.该方案的核心包括:采用高准确度感知哈希算法,以满足图像相似性的高准确度检查;采用新设计的协议进行相似图像的所有权认证;采用无参考通用图像质量评价方法,以完成图像感知质量的评价.经过安全性分析,结果表明,新方案达到了可证明其安全的安全强度,这是图像去重领域的新突破;同时,经过大量仿真测试,结果表明,新方案可以准确地进行相似检测,还可以对多种失真图像进行感知质量评价,满足了新的技术挑战;另外,性能测试结果表明,新方案的时间开销较小,能快速高效地去重,节省了大量存储资源和网络带宽.

摘要：针对如何使用纠删码技术增强数据消冗存储系统可靠性的问题进行了研究,首先研究了纠删编码中关键参数对存储可靠性的影响,通过数学推导证明了使用纠删码技术并不总是会比冗余复制技术更有效的增强存储可靠性,同时分析了使用纠删码技术增强存储可靠性的条件,并结合数据消冗存储系统的特点给出一种纠删编码关键参数的选取算法,经过实验证明,该算法能够利用更少的存储空间获得比冗余复制技术更高的存储可靠性.

摘要：作为一项能够有效缩减数据存储量的技术,重复数据删除在存储系统中获得广泛应用.然而,目前针对删冗系统数据冗余特征的研究存在不足,大多仅关注如何提高针对特定数据集的删冗率.本文对删冗系统文件层次的数据冗余特征进行更深入的挖掘.首先基于冗余数据块定义了文件和文件集合相关性的概念,将相关性挖掘问题归结为频繁项集挖掘问题.然后给出离线生成事务组数据库的流程,以便应用频繁项集挖掘算法进行相关性计算.最后提出内嵌到删冗系统之中的相关性挖掘增量式算法,从而准实时地进行数据冗余特征分析.通过本文工作可以更好地理解删冗系统中冗余数据的来源和分布,从而针对实际应用环境设计更有效的删冗算法和IO优化算法.

摘要：针对归档数据的存储管理问题,提出一种归档存储体系结构AStore,采用数据指纹、数据压缩、数据分块和重复数据删除技术,设计归档存储系统的数据存储和管理策略。测试并分析不同参数设置下存储系统的性能,结果表明该策略能减少数据冗余,提高系统存储空间的利用率和访问性能。

摘要：基于多服务器架构、为多用户服务的网络文件存储系统普遍存在资源分配不均,重复文件多,存储空间浪费严重的问题。设计并实现了TNS网络文件存储系统,该系统基于多服务器存储架构,分别由用户服务器、索引服务器、数据服务器、共享服务器、管理服务器和登录服务器组成,为多用户服务,采用一致性Hash实现负载均衡,支持在客户端进行文件粒度的重复数据删除。经过实际生产环境运行测试,具有良好的负载均衡能力和重复数据删除功能,可以有效节省存储空间,提高存储设备利用率。

摘要：针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据,来显著降低数据存储容量,优化存储空间利用率。利用Hadoop大数据处理平台下的分布式文件系统(HDFS)和非关系型数据库HBase两种数据管理模式,设计并实现一种可扩展分布式重删存储系统。其中,Map Reduce并行编程框架实现分布式并行重删处理,HDFS负责重删后的数据存储,在HBase数据库中构建索引表,实现高效数据块索引查询。最后,利用虚拟机镜像文件数据集对系统进行了测试,基于Hadoop平台的分布式重删系统能在保证高重删率的同时,具有高吞吐率和良好的可扩展性。

摘要：为了解决目前云备份系统恢复目标时间点不连续以及恢复粒度太粗的问题,将连续数据保护技术应用到云备份系统中,提出了一种支持连续数据保护的云备份系统。本系统能够提供秒级的连续恢复时间点,且数据块级别的备份层次能够屏蔽异构平台,具有更广泛的应用前景。系统以私有云为架构基础,部署在防火墙内部,对数据安全有很高的保障。

摘要：研究云存储结构模型及优势的基础上,分析云存储系统设计时应考虑的基本目标和扩展目标,提出满足设计目标的集群架构和系统结构,对实现云存储系统文件同步及重复数据删除等关键技术进行分析,对云存储系统的设计实现有一定借鉴意义。

摘要：随着高校信息化的发展以及教学、科研和管理应用系统的广泛应用,数据资源如:图片、文档、视频等非结构化资源增长十分迅速。如何应对校园网络环境中不断增大的存储需求,提高存储资源的利用效率,是校园数据中心运维中一个比较重要的问题。本文介绍了基于开源软件Swift的云存储平台的搭建,以及带有重复数据删除功能的校园云存储系统(Dedupe_swift)的设计与实现。通过重复数据删除功能的引入,提高了底层存储空间利用率;采用源端去重机制,为用户缩短了重复文件的上传时间;通过Web服务将存储作为服务提供给用户,为用户提供良好的云存储访问体验。