[发明专利]面向结构化数据的分布式内存数据库索引方法

权利要求书

1.面向结构化数据的分布式内存数据库索引方法，其特征在于，所述方法包括：

接收数据库操作请求；

根据所述数据操作请求，在数据库中对待操作关键值进行索引操作，其中，所述索引包括：分布式索引和底层单机索引；其中，所述分布式索引包括：数据分布索引和行分布索引，行分布索引为IS中保存的行压缩表在CS集群中分布的索引，CS为MDE中存储数据的服务节点；IS为MDE的Master节点；MDE为内存数据库引擎；所述数据分布索引存储在具有master角色的控制节点中，负责数据和行表的跨机定位；

所述底层单机索引为细粒度的数据级索引；所述底层单机索引由两套相对独立的索引集合构成，包括：列式压缩索引和行表；所述列式压缩索引由三个向量组成：字典、频数向量、行号索引，所述行表负责维护各个记录项的行号到其所在字典下标的映射；

原始数据采用字典压缩和按位压缩两种方式进行处理，利用字典压缩对重复数据进行去重处理，在存储列压缩索引频数向量和行号索引向量中采用位压缩手段。

2.根据权利要求1所述的面向结构化数据的分布式内存数据库索引方法，其特征在于，所述数据库索引在执行一个关系型查询时关键步骤如下：

步骤1：首先从控制节点中获取数据分布索引，得到待查询表某一列所在节点的定位信息；

步骤2：连接该节点并根据查询中的过滤条件获取该列满足条件的记录项的行号；

步骤3：从控制节点获取待查询表的行表所在的节点定位信息；

步骤4：连接行表所在的节点并根据步骤2获取的行号集合获取待查询其它列待获取记录项对应的字典下标索引；

步骤5：将步骤4得到的字典下标索引发送给控制节点，从控制节点获取该字典所在列的节点信息，控制节点将字典下标索引发送给对应列所在节点；

步骤6：步骤5中的列节点收到控制节点发送来的字典索引信息后，通过该索引信息取出满足查询语句中约束条件的记录，查询结束。

3.根据权利要求2所述的面向结构化数据的分布式内存数据库索引方法，其特征在于，所述定位信息具体为：节点号或IP。

4.根据权利要求2所述的面向结构化数据的分布式内存数据库索引方法，其特征在于，所述连接该节点并根据查询中的过滤条件获取该列满足条件的记录项的行号，具体为：连接该节点并根据查询中的过滤条件，采用二分查找，在logN时间复杂度下获取结果集合，获取该列满足条件的记录项的行号。

5.根据权利要求1所述的面向结构化数据的分布式内存数据库索引方法，其特征在于，所述数据库采用列式存储的方式，压缩后的原始数据以列为单位进行分布和存储，不同列之间的相关性由源数据库中的row key来决定，对处理过后的列数据进行切分，并分布式存储；同时对切片数据建立数据分布索引，用来切片的定位；切分后的列数据做局部的字典压缩处理。