[发明专利]高性能查询处理和数据分析

说明书

高性能查询处理和数据分析可以跨架构上不同的规模而被执行，诸如单核、多核和/或多节点。高性能查询处理和数据分析可以包括查询计算、密钥化数据、数据移动和并行计算的分离，由此增强查询处理和数据分析的能力，同时允许指定数据并行计算的复杂形式，数据并行计算可以跨实时和离线来执行。如本文所述，数据移动和并行计算的去耦合可以改善查询处理和数据分析速度，可以提供多个计算环境中的搜索的优化，并且可以提供搜索执行计划的更大空间的能力。

背景技术

查询处理和数据分析平台可以分析大量数据，以便从数据中获得见解。在一些情况下，这种大量数据的有效分析可能难以以成本有效的方式执行。此外，可以在单核上存储的上下文数据中采用一组技术，同时可以在跨多个节点存储的数据的上下文中采用另一组技术。另外，在在线数据分析和离线时间关系数据的上下文中可以采用又一些不同的技术。然而，为了实现跨在线和离线数据二者的不同架构的分析，必须使用多种技术。跨多种技术来分析数据可能是计算昂贵的、低效的和耗时的。

发明内容

本公开描述了用于提供实时和离线时间关系数据的高性能查询处理的系统、方法和计算机可读介质。本文描述的高性能查询处理和数据分析可以跨架构不同的规模来执行，例如单核、多核和/或多节点。高性能查询处理和数据分析可以包括数据移动和并行计算的分离，由此增强查询处理和数据分析的能力。如本文所述，数据移动和并行计算的去耦合可以改善查询处理和数据分析速度，可以提供在多个计算环境中的搜索的优化，并且可以提供搜索执行计划的更大空间的能力(例如，手动搜索、自动搜索，诸如利用查询优化器等)。例如，在多核设置中执行的查询处理和数据分析(诸如利用多个非均匀存储器访问使能的计算设备)可以包括通过在执行计算之前进行重新分布的数据分区，以便加速处理。再例如，查询处理和数据分析系统不是在多核设置中在核之间重新分布原始数据，而是可以首先更新密钥并对数据执行计算，然后在核之间重新分布经组织的数据。对于又一示例，查询处理和数据分析系统可以将数据发送到特定位置(例如，在核和/或机器中)以使能执行复杂的大规模并行计算。

提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中提到的任何或所有缺点的实现方式。

附图说明

参考附图来阐述具体实施方式。在附图中，附图标记最左边的(多个)数字标识首次出现该附图标记的图。在不同图中使用相同的附图标记表示相似或相同的项。

图1示出了用于查询处理和数据分析的示例环境。

图2是示出与图1中描述的变换相对应的数据集的示例变换的框图。

图3是示出数据移动和聚合操作的各种示例的框图。

图4是示出数据移动和连接操作的各种示例的框图。

图5示出了被配置为与查询处理和数据分析平台一起操作的分布式服务平台的示例架构。

图6是示出查询处理和数据分析系统的分析工作流的框图。

图7是示出查询处理和数据分析平台的示例过程流程的流程图。

图8是示出与分布式服务平台通信的查询处理和数据分析平台的示例过程流程的流程图。

图9是示出查询处理和数据分析平台的示例过程流程的流程图。

图10是示出查询处理和数据分析平台的示例过程流程的流程图。

图11示出了查询处理和数据分析平台相对于另一平台的改进性能的示例图。

图12示出了被配置为支持查询处理和数据分析平台的示例设备。

具体实施方式

概述