基于Python网络爬虫技术的数据采集系统研究

作     者：钟机灵 Zhong Jiling

作者机构：河源职业技术学院广东河源517000 

基　　金：广东省学校德育科研课题(项目编号:2019GXSZ106) 河源市社会发展科技计划项目(项目编号:180703230222407) 

出 版 物：《信息通信》 (Information & Communications)

年 卷 期：2020年第33卷第4期

页      码：96-98页

摘      要：从互联网里采集数据是解决数据来源问题的关键,研究开发基于Python网络爬虫技术的数据采集系统实现了主题数据的自动采集。利用urllib、Beautiful Soup、threading库设计开发了包含数据爬取、异常处理、robots协议管理及多线程管理等模块的系统模型框架。通过具体案例应用,介绍了数据采集过程,相比传统手工数据采集,较大提高了工作效率。

主 题 词：网络爬虫 数据采集 Python技术 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 08[工学] 081201[081201] 0812[工学-测绘类] 

馆 藏 号：203934880...