摘要：为了实现可存储ZB级文件数量、单一文件TB级大小的行业基础数据的需求,以及利于实践'端到端'的、驱动油气重大发现的'地质智能'深度学习解决方案,本文设计、开发并验证了一种充分考虑油气勘探行业基础数据特点的分布式文件系统(PetroV Distributed File System,PetroV DFS)。结合全球地理网格剖分编码和地质信息编码,PetroV DFS建立了基于空间位置索引的分布式文件命名、分配与管理机制,可高效管理ZB级数量的文件并快速定位;基于ST-Based KIDA元数据建模下的本地空间数据库集成机制和空间索引、八叉树切分、空间键值对等三种分布式数据子块存储机制,可快速读写一个TB量级基础数据。PetroV DFS具有'地理位置相近、存储位置相近'的特点——同一地理区域的基础数据存储于同一数据中心的同一批机柜,在提升本地基础数据的访问和计算速度的基础上,能'就近'高效利用不同类型基础数据。以440GB叠前地震数据文件的分布式存储、全时窗频率振幅属性分布式计算为例,利用C++泛化编程技术实现的PetroV DFS可有效部署于当前普通计算机中,为后续深入实践不同类型深度学习解决方案提供新的、可行的大数据存储模式。

摘要：为提升空间数据存储和查询效率,支持增量式版本管理,设计了使用多级索引和缓冲,支持表和记录两级版本的管理系统。对不同的渲染和查询要求提供对应级别的索引,并建立内存缓冲策略;对空间数据编辑操作进行合并及冲突处理,提供记录级版本增量式备份和恢复;实现了空间数据表和记录级版本的前进、回溯和融合。结合实例,验证了索引缓冲和版本管理策略的效果,为空间数据高效管理提供了解决途径。

摘要：在参考谷歌文件系统分布式处理技术基础上,利用三维空间下八叉树结构与编码的快速空间定位机制,实现对三维地震数据的分块存储;采用中间文件形式进行子块切分与传输,减少本地时间开销;同时实现了基于地震道的一级缓存和基于子块的二级缓存,提升了数据访问效率。进一步基于分布式八叉树结构,设计实现了地震属性的分布式映射归并计算方法。研究方法为大数据背景下三维数据体的高效存储与处理分析提供了技术支持。