基于Python爬虫的校园数据获取

作     者：苏艺航 徐海蛟 何佳蕾 杨振宇 王佳鹏 SU Yi-hang;XU Hai-jiao;HE Jia-lei;YANG Zhen-yu;WANG Jia-peng

作者机构：广东第二师范学院计算机科学系 

基　　金：广东第二师范学院软件工程重点学科建设项目(项目编号:9030-1700207) 国家自然科学基金青年科学基金项目(项目编号:61802132) 广东省自然科学基金项目(项目编号:2018A0303130169) 广东省科技计划项目(项目编号:粤财农94号,2016A010106007) 广东省应用型科技研发专项资金资助项目(项目编号:2016B090927010) 2019年广东第二师范学院大学生创新创业训练计划项目(项目编号:201914278146) 

出 版 物：《电脑知识与技术》 (Computer Knowledge and Technology)

年 卷 期：2019年第15卷第6Z期

页      码：86-88页

摘      要：随着移动时代的到来,只适配了电脑网页、性能羸弱的校园教务系统,已经不能满足学生们的移动查询需求。为此,设计了一种基于网络爬虫的高实用性查询系统。它首先通过Python爬虫以HTTP(hypertext transport protocol)分析与模拟方法获取校园教务系统的网页数据,然后对网页数据进行HTTP解析并定位以精确抽取目标校园数据,最后存入高速NoSQL数据库以供快速查询。通过课表获取实例,验证了该设计的可行性与有效性。

主 题 词：网络爬虫 HTTP分析 模拟登陆 网络反爬 Scrapy框架 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 08[工学] 081201[081201] 0812[工学-测绘类] 

D　O　I：10.14004/j.cnki.ckt.2019.1840

馆 藏 号：203691920...