[发明专利]高性能查询处理和数据分析

权利要求书

1.一种电子系统，包括：

一个或多个处理器；以及

一个或多个非暂时性计算机可读介质，其上存储有计算机可执行指令，所述计算机可执行指令响应于由所述一个或多个处理器执行以将设备配置为执行操作，包括：

接收输入数据集的标识，其中所述输入数据集包括一个或多个数据分片；

基于所述标识对所述输入数据集更新密钥；

基于所述更新密钥，将所述输入数据集重新分布到多个数据集中，使得所述一个或多个数据分片具有相同的标识符；

接收要被应用于所述输入数据集的变换操作，其中所述变换操作包括以下一项或多项：包括可转移计算逻辑的查询，或者数据移动操作；

至少部分地基于所述标识来访问所述输入数据集；

将所述变换操作应用于所述多个数据集中的一个数据集；以及

至少部分地基于变换后的数据集来生成结果数据集。

2.根据权利要求1所述的系统，其中对所述输入数据集更新密钥包括每密钥的散列预计算。

3.根据权利要求2所述的系统，其中所述数据移动操作包括以下一项或多项：

广播连接；

多播连接；或者

至少部分地基于所述标识符来重新分布减少的所述输入数据集中的所述一个或多个数据分片的内容。

4.根据权利要求1所述的系统，其中所述一个或多个数据分片被定位在分布式存储器上，并且其中由所述设备执行的操作还包括：在所述输入数据集上执行第一计算以形成减少的输入数据集，并且其中对所述输入数据集更新密钥在所述减少的输入数据集上被执行。

5.根据权利要求1所述的系统，其中所述输入数据集包括存储在分布式服务平台的第一机器上的第一部分以及存储在所述分布式服务平台的第二机器上的第二部分，以及其中所述变换操作由所述分布式服务平台上的虚拟工作者执行。

6.根据权利要求1所述的系统，其中所述输入数据集包括定位在机器的第一核上的第一部分以及定位在所述机器的第二核上的第二部分，并且所述变换操作至少部分地基于在所述机器的所述第一核和所述机器的所述第二核之间的带宽。

7.根据权利要求1所述的系统，其中所述计算机可执行指令响应于由所述一个或多个处理器执行以将所述设备配置为进一步执行包括以下的操作：

接收第二输入数据集的标识；

访问所述第二输入数据集，所述第二输入数据集包括一个或多个数据分片；以及

将所述变换操作应用于所述第二输入数据集，

其中所述变换操作是跨所述输入数据集和所述第二输入数据集中的一对分片而应用的双输入变换操作，并且其中所述结果数据集包括来自所述输入数据集和所述第二输入数据集的数据。

8.根据权利要求1所述的系统，其中所述计算机可执行指令响应于由所述一个或多个处理器执行以将所述设备配置为进一步执行包括以下的操作：

接收查询；

将查询优化器应用于所述查询；

生成分布式物理计划；以及

接收对所述分布式物理计划的修改。