大数据环境下基于python的网络爬虫技术

作     者：谢克武 

作者机构：重庆工商大学派斯学院软件工程学院 

出 版 物：《电子制作》 (Practical Electronics)

年 卷 期：2017年第25卷第9期

页      码：44-45页

摘      要：随着互联网的发展壮大,网络数据呈爆炸式增长,传统搜索引擎已经不能满足人们对所需求数据的获取的需求,作为搜索引擎的抓取数据的重要组成部分,网络爬虫的作用十分重要,本文首先介绍了在大数据环境下网络爬虫的重要性,接着介绍了网络爬虫的概念,工作原理,工作流程,网页爬行策略,python在编写爬虫领域的优势,最后设计了一个通用网络爬虫的框架,介绍了框架中模块的相互协作完成数据抓取的过程。

主 题 词：网络爬虫 python 数据采集 大数据 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16589/j.cnki.cn11-3571/tn.2017.09.017

馆 藏 号：203230768...