[发明专利]数据索引生成方法、装置、电子设备和可读存储介质

权利要求书

1.一种数据索引生成方法，其特征在于，所述方法包括：

获取基于LSM存储引擎存储的数据库中的多个数据文件；

并行遍历并解析所述多个数据文件，生成解析数据，所述解析数据包括所述数据文件中各数据的索引数据；

根据所述解析数据确定至少一个索引文件，所述索引文件中的索引数据是有序的；

将各所述索引文件加载至对应的数据库。

2.根据权利要求1所述的方法，其特征在于，所述数据文件和所述索引文件以物理隔离的方式存储。

3.根据权利要求1所述的方法，其特征在于，并行遍历并解析多个数据文件，生成解析数据包括：

并行遍历多个所述数据文件，确定各所述数据文件中的索引列，所述索引列中至少有一列为标识信息；

对所述索引列的数据值进行编码生成所述数据文件中各数据的索引数据，以确定所述解析数据。

4.根据权利要求1所述的方法，其特征在于，并行遍历并解析多个数据文件，生成解析数据包括：

通过Map算法并行解析多个所述数据文件，生成所述解析数据；

根据所述解析数据确定至少一个索引文件包括：

通过Reduce算法根据所述解析数据生成至少一个所述索引文件。

5.根据权利要求1所述的方法，其特征在于，获取基于LSM存储引擎存储的数据库中的多个数据文件包括：

接收所述数据库所在设备发送的多个数据文件。

6.根据权利要求5所述的方法，其特征在于，将各所述索引文件加载至对应的数据库包括：

将各所述索引文件发送至所述数据库所在的设备，以使得所述设备将各所述索引文件加载至所述数据库中。

7.根据权利要求1所述的方法，其特征在于，所述数据文件的大小为第一预设值，所述索引文件的大小为第二预设值。

8.根据权利要求7所述的方法，其特征在于，所述第一预设值为64M，所述第二预设值为64M。

9.一种数据索引生成装置，其特征在于，所述装置包括：

数据文件获取单元，被配置为获取基于LSM存储引擎存储的数据库中的多个数据文件；

解析单元，被配置为并行遍历并解析所述多个数据文件，生成解析数据，所述解析数据包括所述数据文件中各数据的索引数据；

索引文件确定单元，被配置为根据所述解析数据确定至少一个索引文件，所述索引文件中的索引数据是有序的；

加载单元，被配置为将各所述索引文件加载至对应的数据库。

10.根据权利要求9所述的装置，其特征在于，所述数据文件和所述索引文件以物理隔离的方式存储。

11.根据权利要求9所述的装置，其特征在于，所述解析单元包括：

索引列确定子单元，被配置为并行遍历多个所述数据文件，确定各所述数据文件中的索引列，所述索引列中至少有一列为标识信息；

编码子单元，被配置为对所述索引列的数据值进行编码生成所述数据文件中各数据的索引数据，以确定所述解析数据。

12.根据权利要求9所述的装置，其特征在于，所述解析单元进一步被配置为通过Map算法并行解析多个所述数据文件，生成所述解析数据；

所述索引文件确定单元进一步被配置为通过Reduce算法根据所述解析数据生成至少一个所述索引文件。

13.根据权利要求9所述的装置，其特征在于，所述数据文件获取单元包括：

接收子单元，被配置为接收所述数据库所在设备发送的多个数据文件。