[发明专利]基于phoenix的Hbase二级全文索引方法及系统

说明书

本发明提出基于phoenix的Hbase二级全文索引方法及系统，包括步骤：对Hbase原始数据表建立二级全文索引表，并存储在Elasticsearch存储引擎中，建立二级全文索引表与Hbase原始数据表的关联外键，使得全文检索条件下推到Elasticsearch存储引擎后Elasticsearch存储引擎全文索引表的查询结果为Hbase原始数据表的rowkey；在进行全文索引时，phoenix查询服务器将客户端查询语句转换为Elasticsearch存储引擎可执行的查询表达式，并下推Elasticsearch存储引擎查询；phoenix查询服务器将Elasticsearch存储引擎返回的查询结果作为Hbase原始数据表的RowKey集合去Hbase存储引擎中查询，并将查询的最终结果返回给客户端。本发明将二级索引功能转换成了一次基于ElasticSearch的全文索引和一次基于HBase的RowKey查询，扩充了原有的Phoenix的功能，满足用户全文检索的需求。

技术领域

本发明涉及数据库索引技术领域，尤其是基于phoenix的Hbase二级全文索引方法及系统。

背景技术

HBase的优势是RowKey查询和范围查询，非RowKey查询则会变得异常缓慢，phoenix针对这一特性，提供了基于HBase的二级索引功能。Phoenix是通过创建两个 HBase表来完成的二级索引功能的，即建立索引的时候会建立一个索引表index table1, 索引表的RowKey列是原始表的非RowKey列。但是，这种二级索引技术存在以下缺陷：

由于原数据表和索引表均存储在HBase中，所以索引表的查询也要求是RowKey 查询，对于原始表非RowKey列全文索引的查询则不能满足。

发明内容

发明目的：为了满足Phoenix基于HBase的二级全文索引需求，本发明提出一种基于phoenix的Hbase二级全文索引方法及系统。

技术方案：为实现上述目的，本发明提出以下技术方案：

基于phoenix的Hbase二级全文索引方法，包括步骤：

(1)利用phoenix查询服务器对Hbase原始数据表建立二级全文索引表，并存储在Elasticsearch存储引擎中；

(2)建立二级全文索引表与Hbase原始数据表的关联外键，使得全文检索条件下推到Elasticsearch存储引擎后Elasticsearch存储引擎全文索引表的查询结果为Hbase原始数据表的rowkey；

(3)在进行全文索引时，phoenix查询服务器获取客户端查询语句，将查询语句解析成抽象语法树，将抽象语法树 转换为Elasticsearch存储引擎可执行的查询表达式；Elasticsearch存储引擎执行查询表达式后返回查询结果；

(4)phoenix查询服务器将Elasticsearch存储引擎返回的查询结果作为Hbase原始数据表的RowKey集合去Hbase存储引擎中查询，并将查询的最终结果返回给客户端。

进一步的，所述基于Elasticsearch和phoenix实现的二级全文索引方法还包括步骤：

phoenix查询服务器对二级全文索引表进行维护，包括：二级全文索引表创建、修改，以及二级全文索引表中数据的插入、删除、修改。

进一步的，所述基于Elasticsearch和phoenix实现的二级全文索引方法还包括步骤：

当Hbase原始数据表的数据有插入/删除/修改操作时，phoenix查询服务器根据Hbase 原始数据表的操作信息生成Hbase原始数据表更新数据至二级全文索引表更新数据的逻辑，并根据生成的逻辑更新二级全文索引表。