看过本文的还看了

相关文献

该作者的其他文献

文献详情 >虚拟化模型驱动的分布式数据湖构建方法研究 收藏
虚拟化模型驱动的分布式数据湖构建方法研究

虚拟化模型驱动的分布式数据湖构建方法研究

作     者:谭景信 刘玉龙 李慧娟 TAN Jingxin;LIU Yulong;LI Huijuan

作者机构:华北计算技术研究所 

基  金:国家重点研发计划 

出 版 物:《计算机科学与探索》 (Journal of Frontiers of Computer Science and Technology)

年 卷 期:2019年第13卷第9期

页      码:1493-1503页

摘      要:提出了适应工商联业务服务对象分布广、类型多、不确定性强等特点的虚拟化模型驱动的分布式数据湖构建方法,给出了分布式数据湖的整体架构设计,定义了适应分散、碎片化数据收集场景的数据虚拟化模型和模型驱动下的数据库间协作流程;通过构建虚拟化的全局数据索引网络,实现边缘数据库节点、二级区域数据库节点和中央数据库节点的库间路由和协调一致,形成去ETL化和去中心化的辐射型分布式数据湖,缓解了集中式数据湖构建方法所存在的数据更新时效性差、存储需求量大、频繁搬运大量数据耗费大量带宽、经济性差等诸多问题。对比测算表明,所提方法既满足了工商联分析业务对大数据的需求,又很好满足了实时处理业务对鲜活数据的需要,减少了数据搬运成本,提升了经济性。

主 题 词:数据虚拟化 模型驱动 数据湖 分布式 

学科分类:08[工学] 081201[081201] 0812[工学-测绘类] 

核心收录:

D O I:10.3778/j.issn.1673-9418.1906053

馆 藏 号:203779739...

读者评论 与其他读者分享你的观点

用户名:未登录
我的评分