网络爬虫效率瓶颈的分析与解决方案

作     者：尹江 尹治本 黄洪 YIN Jiang;YIN Zhi-ben;HUANG Hong

作者机构：西南交通大学信息科学与技术学院成都610031 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2008年第28卷第5期

页      码：1114-1116,1119页

摘      要：网络爬虫的效率,直接关系到搜索引擎系统为用户提的供服务质量。如何设计高效、快速的网络爬虫,成为目前网络爬虫研究的热点。要提高网络爬虫的爬行效率,除了需要改进网络爬虫的爬行策略之外,还需要优化网络爬自身的设计,改进网络爬虫自身的结构,消除效率瓶颈。通过对网络爬虫结构、应用环境以及用户要求的分析,提出一个通用网络爬虫的改进设计方案,并通过实验得到较好的测试结果。

主 题 词：爬行策略 套接字 多线程 网络爬虫 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

核心收录：

馆 藏 号：203495051...