基于Scrapy框架的网络爬虫技术应用——以豆瓣网为例

作     者：阴国溶 李玉香 

作者机构：河北科技师范学院 

基　　金：2020年河北科技师范学院大学生创新训练项目“优聘君”微信小程序(2020-83) 2018年教育部产学合作协同育人项目“基于Python的数据分析与智能开发人才培养实践”(201801037002) “Python全栈开发人才培养实践”(201802057003) 

出 版 物：《中国宽带》 (China BroadBand)

年 卷 期：2021年第17卷第10期

页      码：87-89页

摘      要：本文基于Scrapy框架,以Python语言为脚本,以豆瓣网站为例,设计并实现了对电影网站票房排名TOP250条数据关键字段信息的爬取,以及对爬取数据的过滤提纯,并存储结果数据。可利用该结果做进一步的数据分析处理,得出观众的口味喜好,电影行情的发展趋势,具有一定的经济效益。

主 题 词：Python Scrapy框架 网络爬虫 豆瓣数据 

学科分类：08[工学] 0812[工学-测绘类] 

馆 藏 号：203104997...