摘要：在多核处理器、大内存、非易失内存等新硬件技术的支持下,异构存储与计算平台成为主流的高性能计算平台.传统的数据库引擎采用一体化设计,新兴数据库则采用存算分离和算子下推技术以更好适应新型分布式存储架构.提出了一种新颖的基于管算存分离方法的内存数据库实现技术,在存算分离技术的基础上进一步根据数据库模式、数据分布与负载计算特征将数据集划分为元数据集和数值集,将统一的查询引擎分解为元数据管理引擎、计算引擎和存储引擎,将包含语义信息的元数据管理抽象为独立的管理层,将无语义的数值存储和计算抽象为计算存储层,其中计算密集型负载定义为计算层,数据密集型负载设计为存储层,并根据硬件平台的不同分离或合并计算与存储层.内存数据库的实现技术分为几个层次:1)模式优化,实现数据库存储中“数(数值)”与“据(元数据)”的分离,根据数据的内在特性选择不同的存储与计算策略;2)模型优化,采用Fusion OLAP模型,实现在关系存储模型上的高性能多维计算;3)算法优化,通过代理键索引、向量索引支持优化的向量连接、向量聚集算法,提高OLAP性能;4)系统设计优化,通过数据库引擎分层技术实现管理与计算分离、存储与计算分离以及多维计算算子下推到存储层.实验结果表明,管算存分离计算模型可以灵活地支持CPU-GPU异构计算平台、DRAM-PM(Persistent Memory,持久内存)异构存储平台和外部存储平台,采用开源的Arrow内存列存储引擎作为数据库“数”的存储引擎,以及应用多维计算算子下推到Arrow存储引擎技术的OLAP实现技术在SSB基准测试中与存算结合的内存OLAP实现技术性能相当,查询性能优于主流内存数据库Hyper和OmniSciDB,以及基于Arrow存储的GPU数据库PG-Strom.

摘要：Ailamaki等人1999年研究了数据库管理系统(database management system,简称DBMS)在处理器上的时间开销分解.此后,相关研究集中在分析DBMS在处理器上的瓶颈.但这些研究工作均是在磁盘数据库DRDBs(disk resident databases)上开展的,而且都是分析DBMS上的TPC-C类负载.然而,随着硬件技术的进步,现代计算机的多级缓存结构(memory hierarchy)在逐渐地"上移".例如,容量越来越大的芯片内缓存(on-chip caches)和芯片外缓存(off-chip caches),容量越来越大的RAM,Flash Memory等等.为此,处理器负载分析的研究工作也应随之"上移".研究内存数据MMDBs(mainmemory resident databases)在计算密集型负载下的处理器行为特性.由于磁盘数据库的主要性能瓶颈是磁盘I/O,因而可以用索引、压缩等技术进行优化;然而,内存数据库的性能瓶颈却在于处理器和内存之间的数据交换.针对这一问题,首先分析了磁盘数据库和内存数据库在TPC-H负载下处理器性能瓶颈的差异,并给出了一些优化建议,提出了通过预取的优化方法.其次,通过实验比较了不同存储体系结构(行存储与列存储)对处理器利用率的差异,并探索了下一代内存数据库体系结构方面的解决方案.此外,还研究了索引结构对处理器多级缓存的影响,并给出了索引的优化建议.最后,提出一个微测试集用于评估内存数据库在DSS(decision support system)负载下处理器的性能及行为特性.研究结果会对运行于下一代处理器上的内存数据库体系结构设计和性能优化提供一定的实验依据.

摘要：page-color的研究集中在如何通过有效的cache分区技术隔离弱局部性数据与强局部性数据的访问冲突,减少数据处理过程中由弱局部性数据产生的cache污染对强局部性数据的影响.但这些优化技术依赖于特殊的处理器硬件设计、操作系统内核功能的扩展或同时依赖于硬件的特殊设计和操作系统扩展功能的支持.提出了应用软件层上基于page-color的W-order扫描优化技术,不依赖特殊的处理器硬件设计,最小化依赖操作系统的扩展功能.研究的核心思想是通过page-color控制弱局部性数据的页面地址访问顺序,将弱局部性数据与强局部性数据在cache中的冲突域由整个地址空间缩小为指定page-color的地址空间内,从而降低整体的cachemiss,降低数据处理时的延迟.与典型的page-coloring技术相比,不需要扩展操作系统内核功能,具有更好的内存地址空间利用率,能够实现查询内数据集粒度上的cache分区优化.实验中模拟了内存数据库中典型的多表连接算法,通过模拟cache行为模式和在实际查询处理时使用cache监测工具验证了W-order区优化技术的可行性与cache性能.实验结果表明,通过在应用软件层次上对顺序访问操作的控制,能够有效地降低cachemiss,提高内存数据库查询处理性能.

摘要：T树结合了平衡二叉树(AVL树)和B树的优点,可以有效地组织索引数据,从而为内存数据库提供优良的存储效率和查询性能。结合自主开发的一个内存数据库系统Sw iftMMDB介绍T树索引的设计与实现,并通过节点分裂、填充等方法改进了经典T树的插入和删除操作,减少了T树中平衡旋转的次数,从而进一步提高内存数据库检索的效率和性能。

摘要：磁盘数据的存取和传输到内存的速度一直是计算机系统的性能瓶颈。虽然现在磁盘转速和总线速度已经有了很大高,但磁盘容量的大幅度增大又减缓了对其上数据的存取速度。本文介绍了嵌入式内存数据库技术发展的现状、定义、特及面向3G平台嵌入式内存数据库引擎的具体设计方法实现。

摘要：实现海量空间数据的高效检索是资源一号02C(ZY1-02C)卫星数据应用的重要前提。在传统基于关系型数据库的空间查询模式中,频繁的磁盘I/O及内外存交换对查询性能有较大影响,而完全基于内存的内存数据库技术可有效规避这一问题,显著提升效率。基于Key-Value型内存数据库Redis,研究并设计了矢量数据在Redis中的存储结构,并实现了基于Key-Value型存储结构的空间R树索引。经实际应用检验,该存储及索引架构能够有效提升海量空间数据的查询检索性能。

摘要：将内存数据库eXtremeDB应用于数据变化频繁的风电场能量管理系统中,可满足其对数据实时性的要求。设计了实时数据系统的系统结构,数据被采集到SCADA服务器的eXtremeDB中,并通过网关存储到磁盘数据库中,根据CIM模型规范对数据库建模,以保证系统之间的互操作和兼容性。通过eXtremedb应用程序打开数据库,并使用xsql服务器程序使远程的客户端可通过eXtremedb的ODBC驱动操作eXtremedb数据库。测试结果表明,设计的实时数据系统有较快的访问速度,能满足风电场能量管理系统的实时性要求。

摘要：在内存数据库故障恢复技术中,命令日志是针对内存数据库设计的粗粒度的、轻量级的日志记录方式。但在非统一内存访问(non-uniform memory access,NUMA)体系架构下面向数据的数据库设计中利用命令日志进行故障恢复时,由于数据访问频率不均衡,导致负责高频数据恢复的CPU线程负载加重,而其他CPU相对空闲。针对这种工作负载不均衡所导致的恢复时间开销增大的情况,提出了NUMA体系架构下基于热度记录的内存数据库日志恢复算法。该算法中,每一条数据的访问次数作为该数据的热度记录下来。在并行恢复时,根据数据热度,将数据比较均衡地划分到各个节点的CPU线程执行恢复操作,以此来提高数据库的恢复速度。实验结果表明,该方案比NUMA架构下的常规恢复方案快,而且数据的热度越高,恢复速度的提升越明显,最高提升了19%。

摘要：随着数据的增长和主流服务器的内存增长,内存数据库作为一种新的数据处理方式受到越来越多的关注.通过研究现有的内存数据库以及其中常见的两种并发控制机制,乐观并发控制(OCC)与悲观并发控制(PCC),分析各自的特点与适应场景.同时提出一种基于已有并发控制的混合并发控制机制(HCC),其中主要包括具体解决两种原有并发控制的兼容问题,并且设计相应的场景信息获取方法以及并发控制的切换方式.最后利用实验比较在静态场景和动态场景下混合并发控制以及两种原有并发控制的性能,具体而言混合并发控制能够在静态场景下接近两种原有并发控制的最优者,而在动态场景下相对于两种原有的并发控制有20%-30%的性能提升.

摘要：基于传统磁盘数据库的管理系统已能较好地管理土地利用矢量数据,但较大的内外存数据交换开销对系统实时性有一定影响.没有I/O开销的内存数据库将是解决该现状的良好方法.基于内存数据库Redis设计土地利用矢量数据库存储组织,提出点、线、面不同的空间要素空间特征数据的存储结构.采用缓存敏感优化并基于磁盘数据库中的空间索引R+树,提出了一种适合Redis的空间索引.对比实验发现,在数据查询和统计分析速度等方面较基于Oracle 10g的管理系统有较大提升.