Arrow在分布式查询引擎中的应用与研究

作     者：张世同 ZHANG Shitong

作者机构：北京云至科技有限公司南京分公司数据服务产品研发部南京211801 

基　　金：国家自然科学基金资助项目(No.71764006) 

出 版 物：《现代计算机》 (Modern Computer)

年 卷 期：2021年第27卷第19期

页      码：25-31,40页

摘      要：Arrow是一种基于内存的列存储数据结构,它的设计目标是在现代硬件上提高数据分析性能。Arrow自2016年以来,在大数据领域被越来越多的主流项目使用,并成为异构系统数据传输的标准,如今已经支持C++、Go、Java、Python、R、Ruby和Rust等多种编程语言实现。自助查询引擎的兴起是大数据发展的新趋势。本文介绍了一种基于Arrow技术的分布式查询引擎的设计和实现,并结合实验验证了它的实际性能。

主 题 词：Arrow 列内存存储 查询引擎 向量计算 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 

D　O　I：10.3969/j.issn.1007-1423.2021.19.005

馆 藏 号：203104665...