大规模异构数据并行处理系统的设计、实现与实践

作     者：夏正勋 罗圣美 孙元浩 唐剑飞 张燕 XIA Zhengxun;LUO Shengmei;SUN Yuanhao;TANG Jianfei;ZHANG Yan

作者机构：星环信息科技(上海)有限公司上海200233 星环信息科技(上海)有限公司大数据研究院上海200233 

出 版 物：《大数据》 (Big Data Research)

年 卷 期：2020年第6卷第4期

页      码：18-29页

摘      要：随着互联网和物联网应用的快速发展,数据处理模式从结构化逐渐扩展到结构化、半结构化和非结构化混合的异构数据处理模式。设计了一种大规模异构数据并行处理系统,在统一的平台功能视图基础上,采用统一的资源管理框架,实现对结构化、JSON/XML、图数据、文档数据等多种异构数据进行存储和查询,采用统一的开发语言,实现跨数据类型和数据存储引擎的并行计算,满足多业务应用开发的需要,并通过实际的商业部署,验证了系统的可行性。

主 题 词：并行系统 异构数据 统一架构 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 

D　O　I：10.11959/j.issn.2096-0271.2020030

馆 藏 号：203954590...