基于泛型思想的电力工业互联网爬虫框架研究

作     者：毕玉冰 王文庆 刘超飞 崔逸群 董夏昕 金晶 BI Yubing;WANG Wenqing;LIU Chaofei;CUI Yichun;DONG Xiaxin;JIN Jing

作者机构：西安热工研究院有限公司陕西西安710054 北京中电普华信息技术有限公司北京100000 

基　　金：中国华能集团有限公司总部科技项目(HNKJ20-H04) 

出 版 物：《热力发电》 (Thermal Power Generation)

年 卷 期：2020年第49卷第11期

页      码：20-27页

摘      要：目前在互联网场景中使用爬虫框架已成为高效获取数据的一种重要方式,但由于现有爬虫框架针对互联网具体用户、具体场景和用途进行设计,直接用于电力工业互联网存在不适用、不安全等问题。为此,本文提出基于泛型思想的电力工业互联网爬虫框架,结合电力工业互联网的实际需求,从用户、场景、模块设计、使用等各方面进行泛型设计,使该框架不仅具备现有爬虫框架的能力,还能满足电力工业互联网数据爬取的需求。在某集团电力工业互联网生产环境进行验证试验表明,该框架能满足电力工业互联网的不同用户、不同场景的使用和安全要求,也具备现有爬虫框架的特性,泛型设计达到预期效果。

主 题 词：电力工业互联网 数据获取 爬虫框架 泛型思想 泛型设计 Python 网络安全 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 08[工学] 081201[081201] 0812[工学-测绘类] 

D　O　I：10.19666/j.rlfd.202003060

馆 藏 号：203990661...