基于Java的网络爬虫系统研究与设计

作     者：李尚林 陈宫 雷勇 

作者机构：桂林理工大学信息科学与工程学院广西桂林541004 

基　　金：国家自然科学基金项目(批准号:61762031) 广西高等教育本科教学改革工程项目(批准号:2020JGB211) 

出 版 物：《新型工业化》 (The Journal of New Industrialization)

年 卷 期：2021年第11卷第4期

页      码：74-77,80页

摘      要：随着网络技术的不断发展,人们从网络中获取资源信息已经是生活中不可或缺的一部分。如何高效的提取和利用网络资源成为困扰人们的难题,在这样的背景下诞生了爬虫技术。本文利用HttpClient、Jsoup、正则表达式以及Java多线程技术,研究分析了静态网页爬虫和动态网页爬虫的设计过程。最后,实现了静态网页的广泛爬取以及以百度图片、百度文库为例的动态网页特定爬取。

主 题 词：网络爬虫 Java HttpClient Jsoup 多线程爬取 

学科分类：08[工学] 080402[080402] 0804[工学-材料学] 

D　O　I：10.19335/j.cnki.2095-6649.2021.4.029

馆 藏 号：203104499...