[发明专利]一种基于RocksDB的大内存优化方法及系统

说明书

本发明特别涉及一种基于RocksDB的大内存优化方法及系统。该基于RocksDB的大内存优化方法及系统，将写满的内存表Mem Table转换成只读型内存表imMemTable，并放入imline链式队列内；判断imline链式队列成员数量是否超出阈值，若超出则跳转到第三步，否则继续写入；将选择的待合并的只读型内存表imMemTable合并成一个更大的只读型内存表imMemTable，并放入imline链式队列内；判断内存使用量是否超过了阈值，若超出则跳转回第三步，否则继续写入；选择imline链式队列中的只读型内存表imMemTable进行Flush，将选择的只读型内存表imMemTable放入后台Flush线程中刷新到磁盘。该基于RocksDB的大内存优化方法及系统，利用现有硬件内存容量足够大的优势，减少Rocksdb中Flush到磁盘的频率，从而降低了写入放大和磁盘占用，保障了Rocksdb数据库的使用性能。

技术领域

本发明涉及数据管理技术领域，特别涉及一种基于RocksDB的大内存优化方法及系统。

背景技术

RocksDB数据库是基于LevelDB开发的一款提供键值存储与读写功能的LSM-tree架构引擎。用户写入的键值对会先写入磁盘上的预写日志WAL(Write Ahead Log)，然后再写入内存中的跳表(SkipList，这部分结构又被称作内存表MemTable)。内存中的数据达到一定阈值后，会刷到磁盘上生成SST文件(Sorted String Table，分类字符串表)。 LSM-tree通过将随机读写转换为顺序读写，从而提高了写入性能。在LSM-tree设计时，内存还是非常紧缺的资源，因此内存表Mem Table的容量很小。随着硬件不断提升，可使用的内存可能为数千兆字节，但当内存占用过大时，必然会影响RocksDB数据库的整体性能。

为了保障RocksDB数据库的性能，本发明提出了一种基于RocksDB的大内存优化方法及系统。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于RocksDB的大内存优化方法及系统。

本发明是通过如下技术方案实现的：

一种基于RocksDB的大内存优化方法及系统，其特征在于：包括以下步骤：

第一步，增加imline链式队列，将写满后的内存表Mem Table转换成只读型内存表imMemTable，并将其放入imline链式队列内；

第二步，判断imline链式队列成员数量是否超出阈值，若超出则跳转到第三步，否则继续写入操作；

第三步，选择待合并的只读型内存表imMemTable，将选择的待合并的只读型内存表 imMemTable合并成一个更大的只读型内存表imMemTable，并将其放入imline链式队列内；合并完成后，将已完成合并的只读型内存表imMemTable从imline链式队列中删除并清理；

第四步，判断内存使用量是否超过了阈值，若超出则跳转回第三步，否则继续写入操作；

第五步，选择imline链式队列中的只读型内存表imMemTable进行刷盘Flush，将选择的只读型内存表imMemTable放入后台刷盘Flush线程中刷新到磁盘。

所述第三步中，采用最近最不经常使用算法LFU，根据只读型内存表imMemTable的访问频率，选择待合并的只读型内存表imMemTable。

所述第五步中，采用最近最不经常使用算法LFU，根据内存使用量和只读型内存表imMemTable的访问频率，选择imline链式队列中的只读型内存表imMemTable。

实现该基于RocksDB的大内存优化方法的系统，包括：