[发明专利]一种多级无序索引方法与系统

说明书

本发明公布了一种快速的多级无序索引方法与系统，在基于存储器件构建的键值系统中，将所有键组织成B+树，采用顺序法或改进的二分法对键进行快速索引，查找叶子节点中特定的键及其值地址，从而通过多级无序的叶子节点实现有序的索引。系统包括：第一存储器件、第二存储器件；分别用于存储B+树的非叶子节点和叶子节点；可分别采用相同或不同的存储器件；或为同一个存储器件中划分的相互隔离的存储区域。本发明通过多级无序的索引，巧妙地实现了有序的索引，从而兼具“有序索引”和“无序索引”的优点，同时满足了读、写、删除操作对高性能的需求和效果。

技术领域

本发明涉及大数据处理技术及存储索引技术领域，尤其涉及一种快速的多级无序索引方法与系统。

背景技术

随着大数据时代的到来，键值系统(Key-Value storage system，KV)迎来了飞速的发展。键值系统在首次执行写操作时，为每个值(Value)分配一个全局唯一的键(Key)。在后续的读操作和删除操作时，均需首先获取该键。因此，键的快速索引速度直接影响甚至决定了键值系统的性能。

现有的快速索引方法主要有Hash索引和B+树索引两种：Hash索引不支持范围查找、存在哈希冲突，因此应用范围较窄。B+树索引支持范围查找，且不存在哈希冲突的问题，因此成为目前主流的一种方法。

B+树索引的精神实质是：将所有键组织成一棵B+树，非叶子节点用于对键的索引，叶子节点保存键和值，在每一层非叶子节点进行一次二分查找(或称折半查找)，即可快速地完成对键的索引。

但是，针对叶子节点组织的两种现有技术存在严重弊端，无法同时满足读、写、删操作的高性能需求。其一是有序索引，其原理最为简单、最为人们熟知、应用范围最为广泛，已成为本领域的公知常识，如图1所示，其优点是读操作的性能高，缺点是写和删操作的性能低；其二是无序索引，例如CN201310456838.7，如图2所示，其优点是写和删除操作的性能高，缺点是读操作的性能低。

发明内容

为了克服上述现有技术的不足，本发明提供一种多级无序索引方法与系统，通过多级无序的叶子节点，巧妙地实现了有序的索引，从而兼具“有序索引”和“无序索引”的优点，同时满足了读、写、删除操作对高性能的需求和效果。

本发明提供的技术方案是：

一种快速的多级无序索引方法，在基于存储器件构建的键值系统中，将所有键组织成B+树，通过多级无序的叶子节点实现有序的索引，包括如下步骤：

1)将所有键组织成一棵B+树；其中：

11)非叶子节点用于对键的索引，每一层非叶子节点都是有序的；

12)叶子节点用于存储所有键和值；

具体实施时，叶子节点包括第一无序队列、第二无序队列和第三无序队列；第一无序队列包括位图元素和普通元素。位图元素以二进制方式呈现，各个位只能是1或0。某位是1代表第二无序队列对应的元素非空闲，某位是0时代表第二无序队列对应的元素是空闲。典型的位图占用1个字节，共有8位。通过位图可以计算出该叶子节点的键数量，计算方法是将各位相加。普通元素是无序的，通过普通元素能够查找到键在第二无序队列的元素序号，以及值在第三无序队列中的元素序号。第二无序队列包含普通元素，其内容为键。第二无序队列也是无序的。第三无序队列包含普通元素，其内容为值。键和值是成对关联出现的，关联的键和值在第二无序队列和第三无序队列的元素序号是相同的。

2)对键进行快速索引，查找叶子节点中特定的键KeyP及其值地址，P为字母A～Z；由此实现键值系统多级无序的快速索引。

本发明对键进行快速索引的方法包括顺序法(包括正序法和逆序法)或二分法(也称折半法)；二分法更适用于对特定键的索引操作，例如读键、写键、删键。顺序法更适用于对特定范围键的索引操作，例如范围读。