基于Python的爬虫技术的网站设计与实现

作     者：肖新凤 张绛丽 邓祖民 XIAO Xinfeng;ZHANG Jiangli;DENG Zumin

作者机构：广东环境保护工程职业学院广东佛山528216 

基　　金：广东省高职高专云计算与大数据专业委员会2019年度课题(GDYJSKT19-26) 中国职业技术教育学会教学工作委员会2019—2020年度职业教育教学改革课题研究1910110) 广东环境保护工程职业学院质量工程项目(J421320022202) 校企合作项目“环保管家”大数据服务平台建设(JQFW20200109-01) 

出 版 物：《现代信息科技》 (Modern Information Technology)

年 卷 期：2020年第4卷第14期

页      码：73-75,78页

摘      要：随着爬虫技术的不断完善,其功能越来越强大,也导致数据窃取问题越来越严重。很多网站都采用了反爬虫技术,因此为了正常获取数据,需要一些反爬虫策略。文章设计和实现面向定向网站的网络爬虫程序,使其能满足不同的性能要求,并阐述了定向网站爬虫的细节和应用环节。爬虫可以针对不同的主题网站分析构造URL并去重,多线程技术让爬虫具备更强大的抓取能力。

主 题 词：Python 爬虫 数据 豆瓣读书网 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.19850/j.cnki.2096-4706.2020.14.021

馆 藏 号：203978088...