基于SQL模版的大数据批处理设计与实现

作     者：曾姣艳 高宋俤 曾美艳 ZENG Jiao-yan;GAO Song-di;ZENG Mei-yan

作者机构：福州外语外贸学院大数据学院福建福州350003 福州悟理妙信息科技有限公司福建福州350003 郴州职业技术学院湖南郴州423000 

出 版 物：《沈阳工程学院学报（自然科学版）》 (Journal of Shenyang Institute of Engineering:Natural Science)

年 卷 期：2022年第18卷第2期

页      码：90-96页

摘      要：大数据的组件种类繁多,选择合适的组件及其调用方式能极大地降低大数据平台的使用成本。基于SQL模版的大数据处理平台,让业务方仅需掌握SQL语句就可以选择平台底层不同的计算引擎完成数据分析工作。平台选用了基于ANTLR解析SQL的大数据组件——Hive、SparkSQL、Presto来作为底层批处理和即席查询的计算引擎,利用ANTLR工具实现了对SQL语句二次解析和定制化开发工作,解决了业务方数据权限的难题。平台架构从上往下分为数据拉取层、SQL语句解析路由层及底层计算引擎和分布式存储层,使用Airflow组件作为作业调度,利用SQL语句模版完成了数据拉取、数据质量监控和业务方数据分析处理的工作,极大地降低了业务方的技术成本,简化了大数据平台搭建及二次开发的复杂度。

主 题 词：大数据平台 SQL模版 Hive Spark SQL Presto ANTLR Airflow 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.13888/j.cnki.jsie(ns).2022.02.018

馆 藏 号：203111864...