[发明专利]带有动态数量工作者的并行查询引擎

说明书

技术领域

本发明涉及工作流技术，尤其涉及工作流管理技术。

背景技术

计算机和计算系统已经影响了现代生活的几乎每个方面。计算机通常在工作、休闲、保健、运输、娱乐、家政管理等中都有涉猎。

近来计算技术的发展包括在单个机器上使用多个处理器或核。通常，多个核可以在同一个半导体管芯上实现，或者至少封装在同一芯片封装中。为了高效地利用多核系统，已经开发了编程技术来在各核之间拆分计算工作。数据并行声明性编程模型使得开发者容易构建在诸如多核机器或群集等并行系统上执行的程序。数据并行操作通常将输入序列拆分成某一数量的分区，随后在单个工作者上处理每一分区(即，线程在单核上执行)。开发者通过将运算符(过滤器、投影、聚集等)组合到查询中来在数据并行声明性编程模型中编写程序。确定应该创建多少工作者常常是困难的，因为同一时刻在机器上可能正在进行其他计算。

在先前的解决方案中，中间数据并行操作结果被表示为一组分区。每一分区是可以独立于其他分区处理的序列，并且因此不同的分区可以在不同的计算核上处理。每一查询运算符的输入是固定数量的输入分区，并且其输出是同一固定数量的输出分区。运算符通常用特定运算来包装每一输入分区(例如，过滤运算符将用过滤运算来包装每一分区，映射运算符用映射运算，等等)。

在该模型中，在数据并行查询评估期间，并行工作者的数量是固定的，所以可能未最优地使用机器上的计算资源。工作者的数量默认地与机器上的处理器的数量相等。如果处理器中的一个在发起查询时是繁忙的，则一个分区的处理会停止直到处理器变为可用。

在此要求保护的主题不限于解决任何缺点或仅在诸如上述环境中操作的各个实施例。相反，提供该背景仅用以示出在其中可实践在此描述的部分实施例的一个示例性技术领域。

发明内容

一个实施例涉及一种可以在包括多个处理核的计算环境中实践的方法。该方法包括划分包括多个元素的序列的查询执行工作的动作。该方法包括：(a)工作者核从工作队列请求工作；(b)作为响应，工作者核从工作队列接收任务(该任务是可复制序列处理任务，包括两个不同的步骤：在调度器队列上调度任务的副本并处理序列)；(c)工作者核通过以下动作来处理任务：创建任务的复制品并将任务的复制品放在工作队列上，并且开始处理序列。对一个或多个其他工作者核重复动作(a)-(c)。对一个或多个其他工作者核的动作(b)通过接收因不同的工作者核早先执行动作(c)而放置在任务队列上的一个或多个任务复制品来执行。

提供本发明内容是为了以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

另外的特征和优点将在以下的描述中阐述，并且部分可从该描述中显而易见，或者可以从此处的教示实践中习得。本发明的特征和优点可以通过在所附权利要求中特别指出的手段和组合来实现并获取。本发明的特征将从以下描述和所附权利要求书中变得完全显而易见，或者可通过如下所述对本发明的实践而获知。

附图说明

为了描述能够获得上述和其它优点和特征的方式，将通过参考附图中示出的各具体实施例来呈现对以上简述的主题的更为具体的描述。应该理解，这些附图仅描绘了各典型实施例，因此其不应被认为是对范围的限制，各实施例将通过使用附图用附加特征和细节来描述并解释，在附图中：

图1A示出在多核系统中处理懒惰(lazy)序列；

图1B示出在多核系统中处理懒惰序列；

图1C示出在多核系统中处理懒惰序列；

图2示出用于在多核系统中处理输入的流程图；以及

图3示出处理工作序列的方法。

具体实施方式

可以实现各实施例来在动态数量的工作者核上执行数据并行查询。核是可以在任何给定时刻运行单个线程的一个处理器硬件。它可以通过运行若干不同的线程来实现多任务，但在任何给定时刻，只有单个线程在核上执行指令。工作者线程是在单个核上执行的程序的顺序部分。程序可以包括可以相对于彼此并发地运行的多个线程。任务是要执行的工作单元。要完成的任务被保存在工作队列上。在以下示例中，存在其角色是从工作队列中拉取任务并执行它们的若干线程。

查询评估以在由工作者核执行时为另一工作者核调度另一任务的单个任务开始，并且作为该任务的一部分，第一工作者核开始执行查询。如果并且当另一核变得可用时，第二工作者核执行另一任务并调度第三任务，并且帮助第一工作者执行查询。这可以继续直到完成了查询或者已经调度了所有可能的工作者核。