[发明专利]一种hbase数据索引到查询引擎的方法和相关装置

说明书

本申请提供了一种hbase数据索引到查询引擎的方法、装置、系统、索引器和介质，该方法包括：接收hbase源端发送的wal批量导入指令信息；根据所述wal批量导入指令信息读取zookeeper中的hfile文件位置信息；根据所述hfile文件位置信息读取hfile文件，并将所述hfile文件转换成索引数据；将索引数据批次地写入对应的查询引擎中。本申请实现了批量数据的导入，降低了成本，也拓宽了索引器的使用场景，不再限制hbase源端的数据导入方式，改善用户体验。

技术领域

本申请涉索引技术领域，特别涉及一种hbase数据索引到查询引擎的方法、装置、系统、索引器和介质。

背景技术

hbase数据没有全文检索功能，只能在直接查询行键的场景下保持高效，不能兼容全文检索的功能，所以某些场景需要将数据索引到其它查询引擎。hbase-indexer就是为了这种情况诞生的，能将数据索引到solr企业级搜索应用服务器中，还有一些索引到ES(elasticsearch)搜索服务器的方案，但是这些方案中准实时场景很多是类似hbase的replication的，基于hbase的wal机制，而全量或者增量索引到其它引擎的场景就靠扫描hbase全表，筛选范围的方式。相比准实时和全量索引数据的场景，批量的方案从性能低和使用成本高。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

本申请的目的是提供一种hbase数据索引到查询引擎的方法、装置、系统、索引器和介质，能够实现批量数据的导入，降低了成本，也拓宽了索引器的使用场景。其具体方案如下：

本申请提供了一种hbase数据索引到查询引擎的方法，包括：

接收hbase源端发送的wal批量导入指令信息；

根据所述wal批量导入指令信息读取zookeeper中的hfile文件位置信息；

根据所述hfile文件位置信息读取hfile文件，并将所述hfile文件转换成索引数据；

将所述索引数据批次地写入对应的查询引擎中。

优选地，所述将所述hfile文件转换成索引数据，包括：

解析所述hfile文件，得到行数据集合；

依次的根据索引规则将所述行数据集合中的每行数据进行转换，得到所述索引数据。

优选地，所述将所述索引数据批次地写入对应的查询引擎中之后，还包括：

当所述索引数据成功写入所述查询引擎中后，发送写入成功信息至所述hbase源端，以便所述hbase源端清除所述zookeeper中的所述hfile文件位置信息，并删除所述hfile文件。

优选地，所述接收hbase源端发送的wal批量导入指令信息之前，还包括：

配置所述hbase源端的批量加载的数据复制功能，以使所述hbase源端根据所述数据复制功能在执行批量加载时，发送所述wal批量导入指令信息至索引器，并将对应的批量加载的所述hfile文件位置信息存储至所述zookeeper中，且，当所述hfile文件合并或者region合并或分裂时，在完成所述索引数据写入所述查询引擎前，不删除所述hfile文件和所述zookeeper中的信息。

本申请提供了一种hbase数据索引到查询引擎的装置，包括：

Wal信息接收模块，用于接收hbase源端发送的wal批量导入指令信息；

位置信息读取模块，用于根据所述wal批量导入指令信息读取zookeeper中的hfile文件位置信息；