[发明专利]用于使用可变级并行执行数据处理操作的系统和方法

说明书

用于针对数据流图的节点确定处理布局的技术。这些技术包括：获得指定数据流图的信息，该数据流图包括多个节点和连接该多个节点的多个边缘，该多个边缘表示该多个节点中的节点之间的数据流，该多个节点包括：第一组一个或多个节点；以及第二组一个或多个节点，该第二组一个或多个节点与该第一组节点不相交；获得用于该第一组节点的第一组一个或多个处理布局；以及基于该第一组处理布局和一个或多个布局确定规则来确定用于该第二组节点中的每个节点的处理布局，该一个或多个布局确定规则包括用于在具有不同并行度的处理布局中进行选择的至少一个规则。

相关申请的交叉引用

本申请根据35 U.S.C.§119(e)要求于2017年3月29日提交的名称为“SYSTEMS ANDMETHODS FOR PERFORMING DATA PROCESSING OPERATIONS USING VARIABLE LEVELPARALLELISM(用于使用可变级并行执行数据处理操作的系统和方法)”的美国临时申请序列号62/478,390的权益，该美国临时申请通过援引以其全文并入本文。

背景技术

数据处理系统可以使用一个或多个计算机程序来处理数据。由数据处理系统利用的计算机程序中的一个或多个可以被开发为数据流图。数据流图可以包括表示要对输入数据执行数据处理操作的组成部分(称为“节点”或“顶点”)、以及组成部分之间的表示数据流的链路。数据流图的节点可以包括表示对应的输入数据集的一个或多个输入节点、表示对应的输出数据集的一个或多个输出节点和表示要对数据执行的数据处理操作的一个或多个节点。在名称为“Executing Computations Expressed as Graphs(执行表达为图形的计算)”的美国专利号5,966,072和名称为“Managing Parameters for Graph-BasedComputations(管理基于图形的计算的参数)”的美国专利7,716,630中描述了用于执行由数据流图编码的计算的技术，这些专利中的每一个通过援引以其全文并入本文。

发明内容

一些实施例涉及一种数据处理系统。该数据处理系统包括至少一个计算机硬件处理器；以及存储处理器可执行指令的至少一种非暂态计算机可读存储介质，这些处理器可执行指令在由该至少一个计算机硬件处理器执行时使该至少一个计算机硬件处理器执行以下操作：(A)获得指定数据流图的信息，该数据流图包括多个节点和连接该多个节点的多个边缘，该多个边缘表示该多个节点中的节点之间的数据流，该多个节点包括：第一组一个或多个节点，该第一组节点中的每个节点表示一组一个或多个输入数据集中的对应的输入数据集；第二组一个或多个节点，该第二组节点中的每个节点表示一组一个或多个输出数据集中的对应的输出数据集；以及第三组一个或多个节点，该第三组节点中的每个节点表示至少一个对应的数据处理操作；(B)获得用于该一组输入数据集的第一组一个或多个处理布局；(C)获得用于该一组输出数据集的第二组一个或多个处理布局；以及(D)基于该第一组处理布局、该第二组处理布局和一个或多个布局确定规则来确定用于该第三组节点中的每个节点的处理布局，该一个或多个布局确定规则包括用于在具有不同并行度的处理布局中进行选择的至少一个规则。

一些实施例涉及存储处理器可执行指令的至少一种非暂态计算机可读存储介质，这些处理器可执行指令在由该至少一个计算机硬件处理器执行时使该至少一个计算机硬件处理器执行以下操作：(A)获得指定数据流图的信息，该数据流图包括多个节点和连接该多个节点的多个边缘，该多个边缘表示该多个节点中的节点之间的数据流，该多个节点包括：第一组一个或多个节点，该第一组节点中的每个节点表示一组一个或多个输入数据集中的对应的输入数据集；第二组一个或多个节点，该第二组节点中的每个节点表示一组一个或多个输出数据集中的对应的输出数据集；以及第三组一个或多个节点，该第三组节点中的每个节点表示至少一个对应的数据处理操作；(B)获得用于该一组输入数据集的第一组一个或多个处理布局；(C)获得用于该一组输出数据集的第二组一个或多个处理布局；以及(D)基于该第一组处理布局、该第二组处理布局和一个或多个布局确定规则来确定用于该第三组节点中的每个节点的处理布局，该一个或多个布局确定规则包括用于在具有不同并行度的处理布局中进行选择的至少一个规则。