基于网络爬虫的水利信息检索系统的设计与实现

作     者：巫义锐 黄多辉 周逸徉 WU Yirui;HUANG Duohui;ZHOU Yiyang

作者机构：河海大学计算机与信息学院江苏南京211100 南京大学计算机软件新技术国家重点实验室江苏南京210093 

基　　金：国家自然科学基金面上项目(61370091) 水利部公益性行业科研专项(201501022) 河海大学中央高校基本科研业务费项目(2013/B16020141) 南京大学计算机软件新技术国家重点实验室开放课题项目(KFKT2017B05) 

出 版 物：《水利信息化》 (Water Resources Informatization)

年 卷 期：2017年第4期

页      码：36-41页

摘      要：随着水利信息化进程的快速发展,与水利信息相关的互联网资源不断增多,面对如此巨量和复杂形式的水利信息数据,依靠人工检索、分析的方式已难以满足行业应用的需求。随着大数据信息技术的逐步深入研究,设计与实现可应用于水利信息获取的网络爬虫,成为解决水利信息检索与分析问题的基础。设计应用主题网络爬虫技术的水利信息检索系统,通过水利主题信息爬取,数据格式转化与整理,规范化写入数据库等步骤,实现网络水利数据到格式化数据库数据的自动转化。该系统的实现为多数据源信息的交叉验证与网络应急数据的获取,提供新的思路与可行方案。

主 题 词：水利信息化 信息检索 网络爬虫 主题爬虫 

学科分类：081203[081203] 08[工学] 081501[081501] 0815[工学-矿业类] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.19364/j.1674-9405.2017.04.007

馆 藏 号：203260912...