[发明专利]一种hbase数据索引到查询引擎的方法和相关装置

权利要求书

1.一种hbase数据索引到查询引擎的方法，其特征在于，包括：

接收hbase源端发送的wal批量导入指令信息；

根据所述wal批量导入指令信息读取zookeeper中的hfile文件位置信息；

根据所述hfile文件位置信息读取hfile文件，并将所述hfile文件转换成索引数据；

将所述索引数据批次地写入对应的查询引擎中。

2.根据权利要求1所述的hbase数据索引到查询引擎的方法，其特征在于，所述将所述hfile文件转换成索引数据，包括：

解析所述hfile文件，得到行数据集合；

依次的根据索引规则将所述行数据集合中的每行数据进行转换，得到所述索引数据。

3.根据权利要求1所述的hbase数据索引到查询引擎的方法，其特征在于，所述将所述索引数据批次地写入对应的查询引擎中之后，还包括：

当所述索引数据成功写入所述查询引擎中后，发送写入成功信息至所述hbase源端，以便所述hbase源端清除所述zookeeper中的所述hfile文件位置信息，并删除所述hfile文件。

4.根据权利要求1所述的hbase数据索引到查询引擎的方法，其特征在于，所述接收hbase源端发送的wal批量导入指令信息之前，还包括：

配置所述hbase源端的批量加载的数据复制功能，以使所述hbase源端根据所述数据复制功能在执行批量加载时，发送所述wal批量导入指令信息至索引器，并将对应的批量加载的所述hfile文件位置信息存储至所述zookeeper中，且，当所述hfile文件合并或者region合并或分裂时，在完成所述索引数据写入所述查询引擎前，不删除所述hfile文件和所述zookeeper中的信息。

5.一种hbase数据索引到查询引擎的装置，其特征在于，包括：

Wal信息接收模块，用于接收hbase源端发送的wal批量导入指令信息；

位置信息读取模块，用于根据所述wal批量导入指令信息读取zookeeper中的hfile文件位置信息；

索引数据转换模块，用于根据所述hfile文件位置信息读取hfile文件，并将所述hfile文件转换成索引数据；

写入模块，用于将所述索引数据批次地写入对应的查询引擎中。

6.根据权利要求5所述的hbase数据索引到查询引擎的装置，其特征在于，所述索引数据转换模块，包括：

解析单元，用于解析所述hfile文件，得到行数据集合；

索引数据转换单元，用于依次的根据索引规则将所述行数据集合中的每行数据进行转换，得到所述索引数据。

7.根据权利要求5所述的hbase数据索引到查询引擎的装置，其特征在于，还包括：

成功信息发送模块，用于当所述索引数据成功写入所述查询引擎中后，发送写入成功信息至所述hbase源端，以便所述hbase源端清除所述zookeeper中的所述hfile文件位置信息，并删除所述hfile文件。

8.一种索引器，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述hbase数据索引到查询引擎的方法的步骤。

9.一种hbase数据索引到查询引擎的系统，其特征在于，包括：

hbase源端和如权利要求8所述的索引器。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述hbase数据索引到查询引擎的方法的步骤。