[发明专利]基于条件下推elasticsearch的hive索引方法

说明书

本发明提出基于条件下推elasticsearch的hive索引方法,包括步骤：在elasticsearch引擎中建立hive原始数据表的索引表；建立索引表与hive原始数据表的关联外键，使得条件下推到Elasticsearch引擎后Elasticsearch引擎的查询结果为hive原始数据表的属性；hive引擎获取DDL查询语句，将DDL查询语句转换为Elasticsearch存储引擎可执行的查询语句，并下推到Elasticsearch引擎；Elasticsearch引擎执行查询动作，然后返回查询结果；hive引擎根据Elasticsearch引擎返回的属性信息查询hive原始数据表，将查询结果返回客户端。本发明可以只建立一个表，然后实现多次查询，减少元数据泛滥。

技术领域

本发明涉及数据库索引技术领域，尤其是一种基于条件下推elasticsearch的hive索引方法。

背景技术

hive on elasticsearch插件是由elastic公司研发的，实现了hive storagehandler机制的插件。与hive on hbase机制相同，加载该插件后，hive的存储数据源不仅仅是hdfs,也可以是HBase、Elasticsearch等外部存储引擎。

通过hive客户端或hive jdbc接口可以对elasticsearch引擎进行增删改查操作：

1)可以create table语句可以创建elasticsearch引擎的表；

2)通过insert values语句可以将数据插入到elasticsearch引擎中；

3)通过drop table语句可以删除elasticsearch引擎中的表；

4)通过select查询语句可以对elasticsearch引擎数据进行查询并返回到客户端。

现有的基于elasticsearch的hive系统中，使用DDL形式来表示查询语句，如果每次查询需要使用不同的elasticsearch查询语句时，则需根据需求建立不同的表。建表是一个重操作，需要操纵源数据库。DDL定义的是元数据，而查询属于一种即习操作。如果查询语句很多，则需建立很多的数据库表，造成元数据泛滥。

发明内容

发明目的：为了克服现有技术的缺陷，本发明提出一种基于条件下推elasticsearch的hive索引方法，可以只建立一个表，然后实现多次查询。

技术方案：为实现上述技术效果，本发明提出的技术方案为：

基于条件下推elasticsearch的hive索引方法,包括步骤：

(1)在elasticsearch引擎中建立hive原始数据表的索引表；

(2)建立索引表与hive原始数据表的关联外键，使得条件下推到Elasticsearch引擎后Elasticsearch引擎的查询结果为hive原始数据表的属性；

(3)hive引擎获取DDL查询语句，将DDL查询语句转换为Elasticsearch存储引擎可执行的查询语句，并下推到Elasticsearch引擎；

(4)Elasticsearch引擎执行查询动作，然后返回查询结果；

(5)hive引擎根据Elasticsearch引擎返回的属性信息查询hive原始数据表，将查询结果返回客户端。

进一步的，所述将DDL查询语句转换为Elasticsearch存储引擎可执行的查询语句的具体步骤包括：将DDL查询语句解析成抽象语法树，获取抽象语法树的查询表达式；解析查询表达式的restful查询部分；通过DSLBuilder创建Elasticsearch restful查询语句。