PetroV分布式数据存储与分析框架设计

作     者：盛秀杰 金之钧 彭成 

作者机构：中国石化石油勘探开发研究院北京100086 

基　　金：国家页岩油重大专项(2017ZX05049001-007) 中科院A类战略性先导科技专项(XDAXX010405)联合资助 

出 版 物：《石油地球物理勘探》 (Oil Geophysical Prospecting)

年 卷 期：2017年第52卷第4期

页      码：875-883页

摘      要：随着三维地震数据采集、油气田开发等系列新技术带来的快速数据更新,大数据背景下三维数据体的高效存储与处理分析变得越来越复杂。在参考GFS(Google File System,谷歌文件系统)设计理念和消化其关键分布式处理技术的基础上,本文设计了PetroV(Petroleum Valuation,勘探部署决策一体化软件系统)最新软件架构并研发了系列大数据存储与分析的关键软件技术。利用三维空间下八叉树结构与编码的快速空间定位和多分辨率机制,实现对三维大数据体的结构分层、分块存储与二级内存缓存框架,支持并发访问和不同分辨率流式显示。由数据存取客户端、元数据服务和子数据块存取服务组成的八叉树分布式存储框架,屏蔽了基于八叉树切分后子体数据块在上百台计算机的后台冗余或备份存储事实,实现了几乎与单机文件系统接口一致的分布式文件存取接口;由任务执行客户端、任务管理服务和面向地震、数字岩心或测井数据的系列专业解释算法服务组成的分布式大数据分析框架,利用八叉树分块存储的特点实现"分而治之"并行编程模型,显著降低并行编程模型实现的复杂度。大数据下PetroV软件体系架构设计及衍生的系列专业软件版本,最终目的是希望能够推动应用导向与新技术发展深度结合,持续追求卓越,增强自主创新能力。

主 题 词：分布式存储与计算 八叉树 映射规约(Map-Reduce) PetroV 

学科分类：081801[081801] 081802[081802] 0808[工学-自动化类] 0709[理学-地质学] 0819[工学-海洋工程类] 08[工学] 0818[工学-交通运输类] 0807[工学-电子信息类] 0708[理学-地球物理学类] 0815[工学-矿业类] 0816[工学-纺织类] 0813[工学-化工与制药类] 0814[工学-地质类] 

核心收录：

D　O　I：10.13810/j.cnki.issn.1000-7210.2017.04.026

馆 藏 号：203255452...