摘要：在线社交网络的兴起吸引了越来越多用户的加入,面对数以亿计的用户量,如何以一种可扩展的方式存储用户数据已成为社交服务提供商和学术界共同关注的热点问题.目前广泛采用的分布式键值存储通过Hash方法将用户数据随机放置在不同的存储服务器上,这种方法会导致数据中心内部巨大的通信量,不利于社交网络的扩展.本文针对社交网络中用户交互的特点,提出一种社交图划分与数据复制相结合的数据放置方法;进一步考虑数据中心网络拓扑,针对具体拓扑结构,设计数据放置算法,并分别讨论了算法对社交网络规模的增量调整以及分布式实现.在真实数据集上的比较实验结果表明本文所提出的算法能够有效降低社交网络数据中心内部通信量,增强其可扩展性.

摘要：通用后缀树因其优良的结构特征被广泛应用于序列匹配、最长公共子序列查找等场合。在大数据时代,待处理序列的规模往往十分庞大,这给通用后缀树的构造带来巨大挑战。为应对这一挑战,本文提出一种并行分布式的通用后缀树构造算法。该算法采用子树划分与合并的思想,将构造过程分解为多个子任务并行执行,算法基于Spark平台设计实现,字符序列以弹性分布式数据集(RDD)形式存储,任务在RDD上分布式执行。基于真实数据集的实验表明,对数十亿字符序列构造通用后缀树,其构造过程可在7分钟内完成,由此可见,本文所提算法可高效解决大规模通用后缀树构造问题。