基于移动代理的MAISE爬虫的设计与实现

作     者：石柯 周利兵 陶文兵 Shi Ke;Zhou Libing;Tao Wenbing

作者机构：华中科技大学计算机科学与技术学院湖北武汉430074 

基　　金：中国教育科研网格计划ChinaGrid资助项目(CG2003-GA001) 

出 版 物：《华中科技大学学报（自然科学版）》 (Journal of Huazhong University of Science and Technology(Natural Science Edition))

年 卷 期：2005年第33卷第z1期

页      码：226-228,246页

摘      要：提出了一种基于移动代理的图像搜索引擎(MAISE,Mobile Agent based Image Search Engine)的爬虫系统,系统中爬虫代理运行在远程Web服务器上,它将集中在服务器端的任务如:特征提取、建立索引等分散到远程的Web服务器上并行运行,而且代理个数是可控的,最后将少量的数据回传到服务器端,这不仅提高了效率而且减小了网络传输量.最后对MAISE爬虫系统进行了测试,实验结果表明,MAISE爬虫的网络数据传输量和爬行时间等指标上均优于传统爬虫.

主 题 词：搜索引擎 网络爬虫 移动代理 并行化搜索 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 08[工学] 081201[081201] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3321/j.issn:1671-4512.2005.z1.063

馆 藏 号：203587092...