[发明专利]分布式作业调整方法、主节点、系统、物理机及存储介质

权利要求书

1.一种分布式作业调整方法，其中，包括：

获取用户提交的作业；

生成所述作业的执行计划，所述执行计划包括多个执行阶段，所述多个执行阶段包括上游执行阶段以及所述上游执行阶段的直接下游执行阶段；

在作业的执行过程中，获取所述上游执行阶段的输出数据的统计信息；

根据所述统计信息，对所述直接下游执行阶段进行配置，以使得所述直接下游执行阶段基于配置结果执行作业；

所述生成所述作业的执行计划包括：

根据作业的源数据预估的数据大小，生成具有多个候选信息的物理计划，一个候选信息表示所述源数据在作业执行过程中使用的一个任务，所述多个候选信息包括第一候选信息以及第二候选信息；将物理计划转换为算子树，算子树包括物理计划的一个或多个原始任务，一个原始任务使用一个或多个算子；在算子树中根据第一候选信息转化第一执行路径，以及根据第二候选信息转化第二执行路径；在算子树的第一执行路径和第二执行路径的上游设置控制节点，以得到执行计划。

2.根据权利要求1所述的方法，其中，所述统计信息包括如下至少一项：输出数据的数据量、输出数据的数据分区的数据量分布信息、输出数据的每个数据分区的序列化数据记录Record数量。

3.根据权利要求2所述的方法，其中，所述根据所述统计信息，对所述直接下游执行阶段进行配置包括如下至少一项：

根据所述统计信息，对所述直接下游执行阶段配置并发度；

根据所述统计信息，为所述直接下游执行阶段分配数据分区；

根据所述统计信息，选择后续执行的直接下游执行阶段，其中，所述上游执行阶段在下游存在候选的多条执行路径，一条执行路径中的执行阶段至少包括所述上游执行阶段的直接下游执行阶段。

4.根据权利要求3所述的方法，其中，所述统计信息包括输出数据的数据分区的数据量分布信息；所述方法还包括：至少对所述多个执行阶段中首先执行的执行阶段初始化配置并发度；

所述根据所述统计信息，对所述直接下游执行阶段配置并发度包括：

根据所述直接下游执行阶段的工作节点对应的理想数据量，以及所述数据量分布信息，确定为所述直接下游执行阶段的工作节点分配的处理数据量；

根据所述直接下游执行阶段中分配处理数据量的工作节点的数量，配置所述直接下游执行阶段的并发度。

5.根据权利要求4所述的方法，其中，所述根据所述直接下游执行阶段的工作节点对应的理想数据量，以及所述数据量分布信息，确定为所述直接下游执行阶段的工作节点分配的处理数据量包括：

将连续且总数据量不超出所述理想数据量的多个数据分区，分配给所述直接下游执行阶段的一个工作节点，且所述直接下游执行阶段的各工作节点分配的处理数据量趋近于均匀分布，其中，所述直接下游执行阶段的一个工作节点分配的数据分区的数量不大于设定的数量上限。

6.根据权利要求4所述的方法，其中，所述统计信息还包括每个数据分区的Record数量；所述根据所述直接下游执行阶段中分配处理数据量的工作节点的数量，配置所述直接下游执行阶段的并发度包括：

根据所述直接下游执行阶段中分配处理数据量的工作节点的数量，工作节点分配的数据分区的Record数量、工作节点的算子数目以及算子复杂度，确定为所述直接下游执行阶段配置的并发度。

7.根据权利要求3所述的方法，其中，所述统计信息包括输出数据的数据分区的数据量分布信息，所述数据量分布信息指示输出数据的每个数据分区的数据量；所述根据所述统计信息，为所述直接下游执行阶段分配数据分区包括：

根据理想数据量，将所述输出数据中数据量大于理想数据量的数据分区进行拆分；

将拆分后的数据分区分配给所述直接下游执行阶段，且一个拆分后的数据分区配置为由所述直接下游执行阶段的一个工作节点执行。