基于GIS数据交互的大数据动态自动化平台设计与研究

作     者：杨诚 易杨 林建熙 夏伟 YANG Cheng;YI Yang;LIN Jian-xi;XIA Wei

作者机构：广东电网有限责任公司电力调度控制中心广州510600 南方电网数字电网研究院有限公司广州510600 

出 版 物：《制造业自动化》 (Manufacturing Automation)

年 卷 期：2021年第43卷第8期

页      码：137-141页

摘      要：目前应用较多的大数据动态自动化平台均存在数据查询性能、数据迁移性能方面的问题,因此设计一种基于GIS数据交互的大数据动态自动化平台。平台由多个模块构成,包括后台支持模块、数据预处理模块、PROFILER模块、数据库模块。其中后台支持模块由主机、交换机、服务器构成。其中主机的数量需要根据实际情况来布设,主机选取的型号为IPC-KR3499。数据预处理模块负责进行大数据的导入与清洗。其中大数据的导入使用的工具为Sqoop,大数据的清洗则具体包括四个阶段:准备、检测、定位以及清洗。PROFILER模块主要负责进行性能分析,该模块支持的数据抓取方式为动态抓取,使用的抓取工具为BTrace。平台使用的数据库是Hbase,是一种可伸缩、面向内存、高性能、高可靠的数据库。搭建实验的集群环境,对设计平台进行性能测试。测试结果表明设计平台的查询平均用时整体较少、数据迁移速率更高,表明设计平台拥有更好的数据查询性能、数据迁移性能,解决了当前存在的问题。

主 题 词：GIS数据交互 HBase 大数据 Sqoop 动态自动化平台 

学科分类：12[管理学] 1204[管理学-公共管理类] 120401[120401] 

馆 藏 号：203104767...