基于度排序的P2P IPTV分布式爬虫系统设计与实现

作     者：王海舟 陈兴蜀 王文贤 吴小松 WANG Haizhou;CHEN Xingshu;WANG Wenxian;WU Xiaosong

作者机构：四川大学计算机学院网络与可信计算研究所四川成都610065 

基　　金：国家科技支撑计划资助项目(2012BAH18B05) 国家自然科学基金项目(61272447) 

出 版 物：《四川大学学报（工程科学版）》 (Journal of Sichuan University (Engineering Science Edition))

年 卷 期：2014年第46卷第3期

页      码：109-115页

摘      要：为了开发一款面向P2P网络电视主动测量研究的高性能爬虫系统,提出了一种基于节点度排序的节点信息爬行算法。该算法首先使用类似广度优先遍历的策略对网络电视覆盖网进行节点信息的初始爬行,然后对爬行结果获得的节点列表进行基于节点度大小的排序,最后将排序后的结果作为输入提供给分布式爬虫以实施节点信息的实时采集。实验结果表明,基于度排序的分布式爬虫系统相比现有的其他爬虫具有更快的爬行速度,该爬虫可以在30 s左右完成对一个拥有7 200左右用户规模的流行节目的爬行,为采集准确的PPTV节点信息快照并实施主动测量研究提供了解决方案。

主 题 词：P2P技术 度排序 分布式架构 爬虫系统 PPTV网络电视 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 08[工学] 081201[081201] 0812[工学-测绘类] 

核心收录：

D　O　I：10.15961/j.jsuese.2014.03.027

馆 藏 号：203413674...