一种基于Kademlia的全分布式爬虫集群方法

作     者：黄志敏 曾学文 陈君 HUANG Zhi-ming;ZENG Xue-weng;CHENG Jun

作者机构：中国科学院大学北京100049 中国科学院声学研究所国家网络新媒体工程技术研究中心北京100190 

基　　金：863重大项目课题:融合网络业务体系的开发(2011AA01A102) 中科院先导专项课题:海端交互数据实时处理(XDA6030500) 国家科技支撑计划课题:支持增强型搜索的重点新闻网站三屏融合服务(2011BAH11B05)资助 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2014年第41卷第3期

页      码：124-128页

摘      要：针对将海量爬虫节点组织成全分布式爬虫集群所遇到的高效、均衡、可靠、可拓展等问题,提出了一种基于Kademlia的全分布式爬虫集群方法。该方法通过改进的Kademlia技术建立起爬虫节点间的底层通信机制。在此基础上,根据Kademlia的异或特性及节点的可用资源情况,设计并实现具有任务划分、异常处理、节点加入退出处理及负载均衡的全分布式爬虫集群模型。在实际网络系统上的实验结果表明,该方法能有效利用海量弱计算终端的计算、存储和带宽资源,构建高效、均衡、可靠、可大规模拓展的全分布式爬虫集群。

主 题 词：Kademlia 分布式爬虫 弱计算终端 海量节点 结构化P2P 

学科分类：08[工学] 081202[081202] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3969/j.issn.1002-137X.2014.03.026

馆 藏 号：203827641...