摘要：随着三维地震数据采集、油气田开发等系列新技术带来的快速数据更新,大数据背景下三维数据体的高效存储与处理分析变得越来越复杂。在参考GFS(Google File System,谷歌文件系统)设计理念和消化其关键分布式处理技术的基础上,本文设计了petrov(Petroleum Valuation,勘探部署决策一体化软件系统)最新软件架构并研发了系列大数据存储与分析的关键软件技术。利用三维空间下八叉树结构与编码的快速空间定位和多分辨率机制,实现对三维大数据体的结构分层、分块存储与二级内存缓存框架,支持并发访问和不同分辨率流式显示。由数据存取客户端、元数据服务和子数据块存取服务组成的八叉树分布式存储框架,屏蔽了基于八叉树切分后子体数据块在上百台计算机的后台冗余或备份存储事实,实现了几乎与单机文件系统接口一致的分布式文件存取接口;由任务执行客户端、任务管理服务和面向地震、数字岩心或测井数据的系列专业解释算法服务组成的分布式大数据分析框架,利用八叉树分块存储的特点实现"分而治之"并行编程模型,显著降低并行编程模型实现的复杂度。大数据下petrov软件体系架构设计及衍生的系列专业软件版本,最终目的是希望能够推动应用导向与新技术发展深度结合,持续追求卓越,增强自主创新能力。

摘要：为了实现可存储ZB级文件数量、单一文件TB级大小的行业基础数据的需求,以及利于实践'端到端'的、驱动油气重大发现的'地质智能'深度学习解决方案,本文设计、开发并验证了一种充分考虑油气勘探行业基础数据特点的分布式文件系统(petrov Distributed File System,petrov DFS)。结合全球地理网格剖分编码和地质信息编码,petrov DFS建立了基于空间位置索引的分布式文件命名、分配与管理机制,可高效管理ZB级数量的文件并快速定位;基于ST-Based KIDA元数据建模下的本地空间数据库集成机制和空间索引、八叉树切分、空间键值对等三种分布式数据子块存储机制,可快速读写一个TB量级基础数据。petrov DFS具有'地理位置相近、存储位置相近'的特点——同一地理区域的基础数据存储于同一数据中心的同一批机柜,在提升本地基础数据的访问和计算速度的基础上,能'就近'高效利用不同类型基础数据。以440GB叠前地震数据文件的分布式存储、全时窗频率振幅属性分布式计算为例,利用C++泛化编程技术实现的petrov DFS可有效部署于当前普通计算机中,为后续深入实践不同类型深度学习解决方案提供新的、可行的大数据存储模式。