基于对象代理的大数据共享可信数据湖平台

作     者：杨文哲 郝渊科 赵常胜 宋伟 杨先娣 彭智勇 YANG Wen-zhe;HAO Yuan-ke;ZHAO Chang-sheng;SONG Wei;YANG Xian-di;PENG Zhi-yong

作者机构：武汉大学计算机学院武汉430000 武汉大学大数据研究院武汉430000 

基　　金：国家重点研发计划项目(2020YFC1522602)资助 国家自然科学基金项目(U1811263,62072349)资助 

出 版 物：《小型微型计算机系统》 (Journal of Chinese Computer Systems)

年 卷 期：2023年第44卷第6期

页      码：1324-1328页

摘      要：随着数据型科学研究的快速发展及数据共享理念的推动,科学数据管理平台的建设得到了越来越多的重视.然而,由于科研数据量的增加和形式的多样性,传统的科学数据管理平台已不能满足用户对于数据组织服务的个性化需求.此外,数据湖作为一种新型的数据集中式存储库受到了工业界和学术界的广泛关注,它允许从多个数据源中摄入数据,并以原生格式进行存储.在数据湖架构的支撑下,本文主要基于对象代理数据库设计并实现了一种个性化的大数据共享可信数据湖平台.该平台支持多源异构原生数据的存储,实现了元数据管理、数据集检索等高效的数据存储和管理功能;基于对象代理数据模型,设计了合适的基本类和代理类,并结合对象代理数据库的更新迁移机制,实现了个性化数据空间管理及数据自动推送功能;在数据安全方面,利用数据去重技术进行重复数据删除,大大减少了存储消耗.

主 题 词：数据共享 数据湖 个性化数据空间管理 对象代理数据模型 数据去重 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.20009/j.cnki.21-1106/TP.2021-0753

馆 藏 号：203121859...