[发明专利]一种混合索引内存数据库存储引擎管理方法

说明书

本发明公开了一种混合索引内存数据库存储引擎管理方法，所述方法基于rocksdb存储引擎的MemTable管理机制，在memtable内部shiplist索引结构基础之上，添加B+Tree/Trie全局索引，用于Key‑Value的查询。本发明优化现有分布式NewSQL数据库中基于rocksdb存储引擎读写性能问题，充分发挥了内存的高效读写性能，可以在内存结构中缓存更多的数据，延迟并且减少落盘数据量，优化LSM结构的读写放大问题，支持冷热数据分区，当到达落盘阈值时，冷数据落盘，优化数据访问效率；可配置的内存使用量、落盘阈值设定、索引结构选择，用户可根据个性化需求灵活配置。

技术领域

本发明涉及数据库存储引擎技术领域，具体提供一种混合索引内存数据库存储引擎管理方法。

背景技术

Rocksdb是一个高性能的Key-Value数据库。设计了完善的持久化机制，同时保证性能和安全性。能够良好的支持范围查询，因为Key-Value记录就是按照Key来排序的。主要的三个组成部分，内存结构memtable，类似事务日志角色的WAL文件，持久化的SST文件。

如图1所示，当Memtable写入到达阈值之后，转化为immutable memTable，加入flush队列等待flush线程写入SST文件持久化。

Rocksdb中memtable转换城immutable memtable后，flush线程很快的进行SST文件写入操作，而LSM-Tree的分层结构Compaction机制会出现写入数据的读写放大，大大影响了存储引擎的读写效率。而多个immutable memtable等待统一SST写入，对于查询又不友好，十分耗费CPU资源。

注：MemTable和Immutable MemTable两者都位于内存，属于内存的数据结构，它俩之间是一样的数据结构，两者的区别在于MemTable可读可写，而Immutable MemTable是只读的，不允许写入。MemTable承接来自客户的key-value请求，当写入的数据占用内存到指定门限，就会自动转成Immutable Memtable，等待Dump到磁盘中，同时Rocksdb会产生新的MemTable供写操作写入新的key-value pair。

发明内容

本发明目的是为了优化现有分布式NewSQL数据库中基于rocksdb存储引擎读写性能问题。

本发明为了优化现有分布式NewSQL数据库中基于rocksdb存储引擎读写性能问题，提供一种混合索引内存数据库存储引擎管理方法。

为实现上述目的，本发明提供了如下技术方案：

一种混合索引内存数据库存储引擎管理方法，所述方法基于rocksdb存储引擎的MemTable管理机制，在memtable内部shiplist索引结构基础之上，添加B+Tree/Trie全局索引，用于Key-Value的查询。

所述方法通过设置多个MemTable统一延迟落盘，使冷热数据分区管理。

所述方法的实现包括内容如下：

1)写入数据从Memtable转换为immutable memtable后，将其加入B+tree/trie索引中；

2)启动后台线程定时对写入immutable memtable的数据进行Compaction压缩操作，以进行资源的回收；

3)设定内存阈值，将写入数据按冷热数据划分，当写入immutable memtable的数据到达设定内存阈值，作为冷数据写入SST flush到磁盘。

所述冷数据采取定时落盘方式，保证数据落盘次数尽量减少，减少磁盘压缩次数。

所述方法的实现还包括内容如下：