Selenium框架的反爬虫程序设计与实现

作     者：许景贤 林锦程 程雨萌 XU Jingxian;LIN Jincheng;CHENG Yumeng

作者机构：泉州师范学院陈守仁商学院福建泉州362000 

基　　金：泉州师范学院《校企协同电子商务创新创业人才培养体系改革研究》 泉州师范学院大学生创新创业《基于大数据分析的个性化旅行推荐系统》资助 

出 版 物：《福建电脑》 (Journal of Fujian Computer)

年 卷 期：2021年第37卷第1期

页      码：26-29页

摘      要：随着爬虫技术的发展,越来越多的网站加入了反爬虫技术。本文应用Python语言和Selenium框架设计一个爬虫程序,并在文中加入了反爬虫机制。该程序成功爬取了淘宝商品名称和价格等信息,并对所爬取的信息进行存储。结果表明,本文的爬虫程序可以绕过淘宝的反爬虫验证,且可以准确地获取所需的商品清单和得到商品的相关信息。

主 题 词：反爬虫 淘宝商品 Selenium 反爬虫程序 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16707/j.cnki.fjpc.2021.01.008

馆 藏 号：203101973...