[发明专利]用于使用可变级并行执行数据处理操作的系统和方法

权利要求书

1.一种数据处理系统，包括：

至少一个计算机硬件处理器；以及

存储处理器可执行指令的至少一种非暂态计算机可读存储介质，这些处理器可执行指令在由该至少一个计算机硬件处理器执行时使该至少一个计算机硬件处理器执行以下操作：

获得指定数据流图的信息，该数据流图包括多个节点和连接该多个节点的多个边缘，该多个边缘表示该多个节点中的节点之间的数据流，该多个节点包括：

第一组一个或多个节点，该第一组节点中的每个节点表示一组一个或多个输入数据集中的对应的输入数据集；

第二组一个或多个节点，该第二组节点中的每个节点表示一组一个或多个输出数据集中的对应的输出数据集；以及

第三组一个或多个节点，该第三组节点中的每个节点表示至少一个对应的数据处理操作；

获得用于该一组输入数据集的第一组一个或多个处理布局；

获得用于该一组输出数据集的第二组一个或多个处理布局；以及

基于该第一组处理布局、该第二组处理布局和一个或多个布局确定规则来确定用于该第三组节点中的每个节点的处理布局，该一个或多个布局确定规则包括用于在具有不同并行度的处理布局中进行选择的至少一个规则。

2.如权利要求1所述的数据处理系统，其中，该一组输入数据集包括第一输入数据集和第二输入数据集，其中，该第一组节点包括与该第一输入数据集相关联的第一节点和与该第二输入数据集相关联的第二节点，并且其中，获得该第一组一个或多个处理布局包括：

获得用于从该第一输入数据集中读取数据的第一处理布局，该第一布局至少部分地指定第一并行度；以及

获得用于从该第二输入数据集中读取数据的第二处理布局，该第二处理布局至少部分地指定与该至少部分地指定的第一并行度不同的第二并行度。

3.如权利要求1或任何其他前述权利要求所述的数据处理系统，

其中，该第一组节点包括与该一组输入数据集中的第一输入数据集相关联的第一节点，

其中，该第二组节点包括与该一组输出数据集中的第一输出数据集相关联的第二节点，

其中，获得该第一组一个或多个处理布局包括获得用于从该第一输入数据集中读取数据的第一处理布局，该第一处理布局至少部分地指定第一并行度，并且

其中，获得该第二组一个或多个处理布局包括获得用于将数据写入该第一输出数据集的第二处理布局，该第二处理布局至少部分地指定与该至少部分地指定的第一并行度不同的第二并行度。

4.如权利要求1或任何其他前述权利要求所述的数据处理系统，其中，该一组输出数据集包括第一输出数据集和第二输出数据集，其中，该第二组节点包括与该第一输出数据集相关联的第一节点和与该第二输出数据集相关联的第二节点，并且其中，获得该第一组一个或多个处理布局包括：

获得用于将数据写入该第一输出数据集的第一处理布局，该第一布局至少部分地指定第一并行度；以及

获得用于将数据写入该第二输出数据集的第二处理布局，该第二处理布局至少部分地指定与该至少部分地指定的第一并行度不同的第二并行度。

5.如权利要求1或任何其他前述权利要求所述的数据处理系统，其中，确定用于该第三组节点中的每个节点的处理布局包括：

根据该数据流图的结构并使用该第一组处理布局和该一个或多个布局确定规则，在开始于该第一组节点中的节点而执行的前向传递中确定用于该第三组节点中的一个或多个节点的初始处理布局；以及

根据该数据流图的结构并使用该第二组处理布局和该一个或多个布局确定规则，在开始于该第二组节点中的节点而执行的后向传递中确定用于该第三组节点中的每个节点的最终处理布局。

6.如权利要求1或任何其他前述权利要求所述的数据处理系统，其中，该第三组节点包括第一节点，其中，该多个边缘包括在该数据流图中介于该第一节点与该第一节点前面的第二节点之间的第一边缘，并且其中，确定用于该第三组节点中的每个节点的该初始处理布局包括：

基于被确定用于该第二节点的处理布局来确定用于该第一节点的第一初始处理布局。