[发明专利]一种基于两层ART树的数据存储方法

说明书

本发明特别涉及一种基于两层ART树的数据存储方法。该基于两层ART树的数据存储方法，按Key值范围分区的方式拆分数据，使用两级ART树索引结构，第一级ART索引用于Key值范围分区，第二级ART索引用于索引范围分区内的数据。该基于两层ART树的数据存储方法，通过优化存储引擎的索引结构，提升了存储引擎的性能，解决了使用原始的一层ART树索引结构带来的索引结构查询性能随着数据量增大而大幅降低的问题。

技术领域

本发明涉及数据存储结构技术领域，特别涉及一种基于两层ART树的数据存储方法。

背景技术

ART(Adaptive Radix Tree，自适应基数/前缀树)是以二进制位串为关键字的前缀树，是一种多叉树形结构，同时又类似多层索引表，每个中间节点包含指向多个子节点的指针数组，叶子节点包含指向实际的对象的指针。

存储引擎是数据库底层软件组织，数据库管理系统(DBMS)使用数据引擎进行创建、查询、更新和删除数据。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎，还可以获得特定的功能。

内存中数据的索引结构是影响存储引擎性能的重要因素。ART树在所有的索引结构中，查询性能最优。但是，索引结构普遍存在一个问题，随着索引的数据量增大，查询性能会降低。根据论文《The Adaptive Radix Tree:ARTful Indexing for Main-MemoryDatabases》中记载的测试结果，当数据量从64K提升到16M时，ART树的查询性能降低了至少4倍，这种现象严重影响到了存储引擎的性能。

针对索引结构查询性能随着数据量增大而大幅降低现象，本发明提出了一种基于两层ART树的数据存储方法。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于两层ART树的数据存储方法。

本发明是通过如下技术方案实现的：

一种基于两层ART树的数据存储方法，其特征在于：按Key值范围分区的方式拆分数据，使用两级ART树索引结构，第一级ART索引用于Key值范围分区，第二级ART索引用于索引范围分区内的数据；

所述范围分区内的数据集是真实的数据集或数据的指针形成的数据集。

包括以下步骤：

第一步，数据库存储引擎刚启动时，创建第一个范围分区，其存储Key值的范围为(MIN，MAX)，并且使用该范围分区最大值MAX作为Key值，将范围分区挂载到第一层ART树上，

第二步，将待插入的数据挂载到范围分区的第二层ART树上，启动待拆分队列处理线程作为后台线程，异步优化索引结构。

所述第二步中，设置作为全局参数RANGE_AREA_MAX_KVS，即范围分区最大数据量阈值；当某个范围分区数据量超过范围分区最大数据量阈值时，将该范围分区拆解成两个。

所述第二步中，数据插入流程如下：

S1：查询第一层的ART树，找到大于等于待插入的Key值对应的范围分区，存入变量curRangeArea中；

S2：判断范围分区curRangeArea的状态，如果状态为“待删除”，则返回S1；

S3：将待插入的数据挂载到范围分区curRangeArea的第二层ART树上；

S4：判断范围分区curRangeArea的状态，如果状态为“正在拆分”，则将数据放入该范围分区curRangeArea的增量数据队列中，结束并退出，否则跳转到S5；