[发明专利]无服务器数据湖索引子系统及应用编程接口

权利要求书

1.一种第一查询引擎，其被配置为耦合到数据湖，所述数据湖被配置为存储数据集和基于所述数据湖上的所述数据集的索引，所述第一查询引擎还被配置为：

接收包括指向所述数据集的多个查询的工作负荷；

基于所述多个查询来生成候选索引集合；

基于确定由所述候选索引集合提供的对所述工作负荷的性能的估计性能改进，从所述候选索引集合中选择预定数目的候选索引；以及

根据索引规范构建所选择的所述候选索引中的索引，并且将构建索引存储在所述数据湖上的预定位置处，所述预定位置和被包括在所述构建索引中的索引元数据符合所述索引规范。

2.根据权利要求1所述的第一查询引擎，其中所述索引元数据描述以下一项或多项：

所述构建索引的内容；

所述构建索引的谱系；或者

所述构建索引的状态。

3.根据权利要求2所述的第一查询引擎，其中描述所述构建索引的所述内容的所述索引元数据包括以下一项或多项：

所述构建索引的名称；

所述构建索引的类型；

所述构建索引的配置，包括索引列的标识和被包括的列的标识、以及每个列的类型；或者

所述构建索引的物理位置和布局。

4.根据权利要求2所述的第一查询引擎，其中描述所述构建索引的所述谱系的所述索引元数据包括以下一项或多项：

一个或多个标识符，每个标识符对应于被索引的一个或多个数据源；

所述数据源被索引的时间；或者

所述构建索引的描述性历史。

5.根据权利要求2所述的第一查询引擎，其中描述所述构建索引的所述状态的所述索引元数据包括启用、禁用、创建或删除的集合中的一个或多个状态描述符。

6.根据权利要求4所述的第一查询引擎，其中描述所述构建索引的所述谱系的所述索引元数据还包括用于创建所述构建索引的原始查询的查询计划信息。

7.根据权利要求6所述的第一查询引擎，其中所述数据湖还被配置为被耦合到与所述第一查询引擎不同的第二查询引擎，所述第二查询引擎被配置为：

在所述数据湖中搜索被存储在所述预定位置处的构建索引；

接收查询；

基于通过所述搜索被找到的、针对每个构建索引的所述索引元数据，确定相应的所述构建索引是否能够被用以优化用于执行所述查询的查询计划，并且如果是，则优化所述查询计划以使用相应的所述构建索引；以及

执行经优化的查询计划以提供查询结果。

8.根据权利要求7所述的第一查询引擎，其中所述第一查询引擎和所述第二查询引擎还被配置为，基于描述所述构建索引的所述谱系的所述元数据来确定自与所述构建索引相对应的所述数据源被索引以来所述数据源是否已经被更新，并且如果是，则使用所述查询计划信息来重建所述索引。

9.一种查询处理工作负荷优化系统，被配置为接收包括多个查询的工作负荷，所述系统包括：

一个或多个处理器；以及

一个或多个存储设备，由所述一个或多个处理器可访问，所述一个或多个存储设备存储用于由所述一个或多个处理器执行的程序代码，所述程序代码包括：

第一查询处理器，被耦合到数据湖、候选索引生成器和索引选择器，其中：

所述候选索引生成器被配置为基于所述多个查询来生成候选索引集合；以及

所述索引选择器被配置为基于确定由所述候选索引集合提供的对所述工作负荷的性能的估计性能改进，从所述候选索引集合中选择预定数目的候选索引；

所述第一查询处理器被配置为：

根据索引规范构建所选择的所述选候选索引中的索引，并且将构建索引存储在所述数据湖上的预定位置处，所述预定位置和被包括在所述构建索引中的索引元数据符合所述索引规范；

接收查询；

生成针对所述查询的查询计划，其中所述查询计划被优化以使用所述构建索引；以及

执行所述查询计划以生成最终查询结果。