分布式主题网络爬虫的设计与研究

作     者：黄宇 

作者机构：湖北工业大学图书馆湖北武汉430068 

基　　金：湖北省高校图工委基金项目“湖北工业大学机构知识库研究与构建”(项目编号:2018YB16)研究成果之一 

出 版 物：《科学技术创新》 (Scientific and Technological Innovation)

年 卷 期：2020年第15期

页      码：80-81页

摘      要：随着信息技术的不断发展,互联网上的数据类型越来越多,信息量以几何级增长,庞大的数据给人们的生活带来便利的同时也给信息的查找带来了巨大的挑战。搜索引擎的通用网络爬虫越来越难以胜任越来越大规模的数据抓取任务。本文设计了一个分布式架构的主题网络爬虫,能快速、准确、稳定的抓取特定领域的信息。

主 题 词：分布式架构 主题网络爬虫 信息采集 

学科分类：0810[工学-土木类] 08[工学] 080401[080401] 0804[工学-材料学] 080402[080402] 0835[0835] 081002[081002] 

馆 藏 号：203930831...