大规模电商平台商品信息采集系统的设计与实现

作     者：刘哲 马乐荣 LIU ZHE;MA Le-rong

作者机构：延安大学数学与计算机科学学院陕西延安716000 

基　　金：国家自然科学基金资助项目(61866038) 延安大学研究生教育创新计划项目(YCX201902) 

出 版 物：《延安大学学报（自然科学版）》 (Journal of Yan'an University：Natural Science Edition)

年 卷 期：2020年第39卷第2期

页      码：32-36,42页

摘      要：基于Splash技术,对商品页面中的javascript代码进行预渲染,结合Scrapy爬虫框架,实现了一种快速、有效采集不同平台商品数据的系统。实验结果表明,该系统能有效采集不同平台的商品数据,具有一定的应用价值和推广性。

主 题 词：大规模 电商平台 Splash Scrapy 数据采集 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.13876/J.cnki.ydnse.2020.02.032

馆 藏 号：203947032...