摘要：1.引言现代分布式文件系统的发展趋势[1]是Transparency、Scalability、UnixSemantics、Reliability、Adaptation和Security.随着技术的发展,人们希望建立一种分布式文件系统来管理更广范围的文件资源,例如管理WAN环境中的文件资源,甚至管理Web环境中的文件资源.传统分布式文件系统大多是针对高带宽、低时延的LAN设计的,不能适应低带宽、高时延的WAN环境[1],主要体现在:(1)文件存储协议、Cache 管理机制不适合WAN.传统分布式文件系统的文件传输协议、Cache管理机制是针对高带宽、低时延的LAN设计的,在低带宽、高时延的WAN下性能很差.

摘要：分析了分布式文件系统体系设计的核心构架组成,考察了HDFS架构文件系统的结构特点,讨论了与Linux FS架构文件系统的区别。通过分析可知,目前使用的HDFS的设计架构中文件系统,Java的图是主要使用的界面,执行任务分解比较繁琐,并行处理及其不方便。HDFS的文件系统在执行任务的时候,存储数据是分布式的,处理数据是集中式的,设计这种模式使得执行任务不能独立进行,对Name Node完全依赖。随着集群的扩大,Name Node的性能成为了系统瓶颈,最后作者阐述了有关的观点。

摘要：本文介绍了我们设计实现的一个分布式操作系统ＨＩＴ－ＤＵＮＩＸ中分布式文件系统的实现要点，给出了维护分布式文件多缓存数据一致性的ＭＢＣ策略并讨论了ＭＢＣ策略中防止死锁的技术。

摘要：现有分布式文件系统中处理节点失效时采用的恢复策略耗费较多的带宽与磁盘空间资源,且影响系统的稳定性。通过研究分布式文件系统HDFS集群结构、数据块存储机制、节点与数据块状态之间的关系,定义了集群节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵为度量数据块可用性建立了基础数据模型。在实现数据块可用性度量基础上,设计了基于可用性度量的节点失效恢复算法并分析了算法的性能。实验结果表明:新算法在保证系统中所有数据块可用性的前提下比原恢复策略减少了恢复所需带宽与磁盘资源,缩短了节点恢复时间,提高了系统稳定性。

摘要：随着全球数据量猛增,分布式文件系统逐渐成为存储技术的研究重点.文章设计与实现了基于哈希规则的分布式文件系统,它是一个可扩展的集群文件系统,并提供了一个具有两层结构哈希规则,规则为客户端提供了文件定位服务,其伪随机性也将文件均匀的分布到了不同的服务器中,起到了一定的负载均衡的作用;系统中采用桶来管理文件元数据与文件数据,桶的独立性与灵活性使得桶便于迁移,增加了系统的可扩展性;系统中同时采用了Lazy机制来达成系统性能与文件副本可用性之间的平衡.文中首先介绍了系统的整体架构,然后描述了系统中采用的关键技术与系统典型流程,最后,对系统的性能进行的测试证明了其高效性.

摘要：为了降低分布式文件系统中元数据的管理成本,解决元数据管理的单点问题,提出一种工作—备份数据集(working-backup dataset,WBD)。将内存区域抽象为数据集,通过数据集操作来实现内存访问,减小了数据同步时内存操作的复杂度。在此基础上,设计了一种分布式文件系统元数据管理模型—自适应主从模型(self-adaptation master-slave,SAMS),降低了分布式文件系统中元数据同步造成的性能开销。实验分析结果表明,采用SAMS作为分布式文件系统的元数据管理模型,在维持元数据服务性能的基础上,实现了高容错性和高扩展性。

摘要：随着互联网应用的发展和云计算的兴起,在线图片、音频、视频以及微博等服务逐渐广泛发展,这些应用展示了与传统应用截然不同的数据访问和存储模式.数据中心内每秒钟都有大量较小文件的生成、分析和返回,这些应用对高并发海量文件的高吞吐、低延迟读写提出了新的挑战.提出基于分布式表存储的全新的分布式文件系统HVFS来管理数以十亿计的文件,并同时支持高吞吐和低延迟的文件访问.HVFS通过改进分布式可扩展哈希来管理元数据、日志结构的格式和列存储来利用时空局部性.本文描述了HVFS的设计和实现并进行了中等规模的实验.实验显示HVFS的表存储结构能够线性的扩展,并在82个结点上提供超过240,000次/秒、100,000次/秒的数据(<1KB)写和读;基于FUSE的实现在32个节点上提供超过180,000个/秒的文件创建速度.

摘要：传统的分布式文件系统未考虑底层网络的情况,因此其读写性能以及在异构网络环境中的文件修复性能都有较大的提升空间。利用软件定义网络(SDN)提供的底层网络的动态数据资源,计算出数据传输的实时最佳路径。对分布式文件系统中的大数据流进行流量导引,从而提高分布式文件系统的性能。在仿真的SDN环境中设计并实现一个分布式文件系统原型,对读文件、写文件和文件修复3种基本操作进行对比测试,结果表明,在SDN网络环境中的分布式文件系统,相对于传统网络环境,在读写和修复方面都有不同程度的性能提升。尤其是在数据流量非常大、网络流量异构明显的情况下,提升效果更为明显。

摘要：文章介绍为CGSP*(ChinaGridSupportPlatform)度身定制的一个基于分片的、松耦合的分布式文件系统。与现存的分布式文件系统相比,本系统有以下特点:(1)将资源层与管理层完全分离;(2)基于分片而不是整个文件进行管理;(3)数据资源和用户虚拟空间都纳入WSRF框架。以上几点都是针对网格海量数据密集型应用而设计的。

摘要：分布式文件系统在写操作结束前所需的元数据和数据写回需要大量的时间开销,现有的写缓存机制无法解决易丢失更新、使用寿命短和无法适应元数据访问特点等问题.提出基于PCM的写缓存机制,在主机中使用PCM构建写缓存,并针对分布式文件系统写操作和PCM的特性,设计了基于PCM缓存的写流程和自适应缓存写回策略,使得应用在将元数据和数据写入PCM缓存后就能安全返回,并使用自适应的写回线程池将PCM缓存中元数据和数据写回,提高了分布式文件系统的写速度,避免了元数据服务器和磁盘成为影响分布式文件系统I/O性能的瓶颈.在分布式文件系统pNFS的基础上,实现了原型系统,使用标准测试工具filebench和postmark和多个通用测试数据集进行了测试,验证了基于PCM的写缓存机制能使得pNFS提高7%-1倍的I/O性能和1倍以上的事务处理速度.