基于Scrapy的农业网络空间信息动态监测算法

作     者：陈黎 马健 CHEN Li;MA Jian

作者机构：重庆财经职业学院应用技术学院重庆402160 重庆大学重庆400044 

基　　金：重庆市社科规划课题:农业生产性服务提升全要素生产率的路径与政策研究(2018PY18) 

出 版 物：《山东农业大学学报（自然科学版）》 (Journal of Shandong Agricultural University：Natural Science Edition)

年 卷 期：2020年第51卷第2期

页      码：253-258页

摘      要：为动态监测农业网络空间信息,需采用农业网络空间信息动态监测算法,设计农业网络空间信息动态监测系统。借助系统中信息采集层,从网络中各种信息源和Scrapy网络爬虫,采集所需农业网络空间信息。信息采集层通过构建的基于Scrapy框架建立对网页的请求响应,分析网页布局后循环抓取所需农业网络空间信息。采用正则表达式将抓取的农业网络空间信息剔除为格式化数据,将采集到的数据存储到农业网络空间信息处理模块数据库中。农业网络信息处理模块通过合理方法净化信息所在网页,将从数据库中提取的内容传输到农业网络空间信息分析模块中。分析模块通过文本聚类、特征选取等技术,发掘网络中农业空间信息,形成话题列表并设置关键字信息,建立相关领域的农业网络空间信息词库。采用WM算法处理同音字、拆分字和干扰符号,实现对所需农业网络空间信息的精准匹配,达到动态监测农业网络空间信息的目的。经过实验分析发现,随着年份的增加,全国地区农业种植作物产量也在小幅度增加,且本文算法动态监测效果和实际地区农业作物产量变化情况相符程度较高。随着广州市城市化进程不断加剧,2009年到2014年广州市斑块密度和形状指数不断增加,2015年以后广州市植被覆盖率逐渐提升,与实际变化情况相符程度较高。

主 题 词：农业网络 空间信息 动态监测 

学科分类：0810[工学-土木类] 08[工学] 081001[081001] 

D　O　I：10.3969/j.issn.1000-2324.2020.02.012

馆 藏 号：203922847...