面向分布式网络爬虫的域名解析方法研究

作     者：赵晓永 王磊 ZHAO Xiaoyong;WANG Lei

作者机构：北京信息科技大学信息管理学院北京100129 

基　　金：国家自然科学基金资助项目(61572079) 北京市教育委员会科技计划一般项目(KM201711232018) 

出 版 物：《北京信息科技大学学报（自然科学版）》 (Journal of Beijing Information Science and Technology University)

年 卷 期：2017年第32卷第2期

页      码：45-49页

摘      要：提出了一种分布式JVM(Java Virtual Machine)网络爬虫的域名解析缓存方法DQ Cache(Distributed Quick Cache),实现了高效的DNS缓存机制。在深入分析操作系统和JVM的域名解析工作机制基础上,结合分布式爬虫的并行化与任务多节点均匀化等特点,采用正向和负向双缓存方式,为2个缓存分别设计采用了特定的数据结构和过期策略。实验表明,该方法可以有效提升域名解析性能,同时降低各爬虫节点的内存占用和域名解析请求对网络带宽的影响,提升了分布式爬虫的整体性能。

主 题 词：分布式爬虫 域名解析 DNS 缓存 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.16508/j.cnki.11-5866/n.2017.02.010

馆 藏 号：203230689...