[发明专利]分布式作业调整方法、主节点、系统、物理机及存储介质

说明书

本申请实施例提供一种分布式作业调整方法、主节点、系统、物理机及存储介质，其中方法包括：获取用户提交的作业；生成作业的执行计划，执行计划的多个执行阶段包括上游执行阶段以及直接下游执行阶段；在作业执行过程中，获取上游执行阶段的输出数据的统计信息；根据统计信息对直接下游执行阶段进行配置。本申请实施例可基于上游执行阶段的输出结果，动态调整下游执行阶段的配置，例如对下游执行阶段配置并发度、分配数据分区、选择后续的执行路径等。进一步的，本申请实施例能够在深度学习领域优化执行计划的描述，并合理优化资源配置。本申请实施例能够提升分布式系统的性能。

技术领域

本申请实施例涉及分布式技术领域，具体涉及一种分布式作业调整方法、主节点、系统、物理机及存储介质。

背景技术

分布式系统是多个物理机通过通信线路互联而构成的系统，具有分布性、自治性、并行性、全局性等特点。利用分布式系统执行用户提交的作业，可通过分布式系统的分布式计算能力，提升作业执行效率。

分布式系统主要包括主节点和工作节点。用户提交的作业可以由主节点生成执行计划。主节点可以对生成的执行计划进行配置。基于执行计划的配置，主节点在作业的执行过程中，可以调度工作节点和资源来实现作业的具体执行。基于分布式系统的广泛应用，本领域技术人员一直致力于提升分布式系统的性能。

发明内容

有鉴于此，本申请实施例提供一种分布式作业调整方法、主节点、系统、物理机及存储介质，以在作业执行过程中，准确、合理的动态配置执行计划，实现作业配置的动态调整，从而提升分布式系统的性能。

为实现上述目的，本申请实施例提供如下技术方案。

第一方面，本申请实施例提供一种分布式作业调整方法，包括：

获取用户提交的作业；

生成所述作业的执行计划，所述执行计划包括多个执行阶段，所述多个执行阶段包括上游执行阶段以及所述上游执行阶段的直接下游执行阶段；

在作业的执行过程中，获取所述上游执行阶段的输出数据的统计信息；

根据所述统计信息，对所述直接下游执行阶段进行配置，以使得所述直接下游执行阶段基于配置结果执行作业。

第二方面，本申请实施例提供一种分布式作业调整方法，包括：

获取深度学习作业；

生成所述深度学习作业的执行计划，所述执行计划包括多个执行阶段，所述多个执行阶段包括：工作器执行阶段和资源优化执行阶段；所述工作器执行阶段用于计算深度学习参数的梯度；

在所述深度学习作业的执行过程中，调度所述资源优化执行阶段对应的资源优化节点，通过所述资源优化节点确定与深度学习作业的当前执行状态相匹配的历史使用的资源信息；

通过资源优化节点，为所述工作器执行阶段配置所述资源信息。

第三方面，本申请实施例提供一种主节点，所述主节点被配置为执行如上述第一方面或第二方面所述的分布式作业调整方法。

第四方面，本申请实施例提供一种分布式系统，所述分布式系统包括主节点和多个工作节点，所述主节点如上述第三方面所述的主节点。

第五方面，本申请实施例提供一种物理机，所述物理机包括至少一个存储器和至少一个处理器，所述存储器存储一条或多条计算机可执行指令，所述处理器调用所述一条或多条计算机可执行指令，以执行如上述第一方面或第二方面所述的分布式作业调整方法。

第六方面，本申请实施例提供一种存储介质，所述存储介质存储一条或多条计算机可执行指令，所述一条或多条计算机可执行指令被执行时实现如上述第一方面或第二方面所述的分布式作业调整方法。