分布式网络爬虫技术的研究与实现

作     者：吴宇鹏 

作者机构：福州墨尔本理工职业学院福州350000 

出 版 物：《电脑编程技巧与维护》 (Computer Programming Skills & Maintenance)

年 卷 期：2020年第11期

页      码：9-10,19页

摘      要：随着网络技术的快速发展,很多与Web关联密切的服务也在带动下逐渐增多,在工作和生活中得到了越来越多的应用,同时,人们也对此提出了更高的要求。这就不可避免地对进行Web信息采集的网络爬虫技术提出了越来越高的标准。尽管从目前的发展形式,国内外很多公司都对此提出了较为成熟的解决方法,但是这种搜索引擎带给大众的是相对固定的搜索服务,并不能够充分满足所有人的要求。在这种情况下,单机的网络爬虫并不能够解决这种问题,中型规模的网络爬虫也就根据其快速、高效率的信息采集方式以及可定制性,满足了用户在此方面的需求。从此角度出发,在分布式网络爬虫的设计和结构方面做出分析,并根据系统的实现和评测探讨了该技术实现的可能性。

主 题 词：分布式 网络爬虫 搜索引擎 技术研究 

学科分类：08[工学] 080402[080402] 0804[工学-材料学] 

D　O　I：10.16184/j.cnki.comprg.2020.11.003

馆 藏 号：203991887...