[发明专利]分布式作业执行方法、主节点、系统、物理机及存储介质

权利要求书

1.一种分布式作业执行方法，其中，所述方法应用于主节点，所述方法包括：

检测在线服务启动指令，拉起管理进程；

通过管理进程，获取多任务管理进程的启动文件；以及，通过管理进程，基于多任务管理进程的启动文件，拉起多任务管理进程；

获取用户提交的作业，通过管理进程进行作业的资源调度管理，以及通过多任务管理进程对作业相应的有向无环图DAG进行管理。

2.根据权利要求1所述的方法，其中，所述对作业相应的DAG进行管理包括：

生成作业的执行计划，所述执行计划由DAG描述；

配置DAG的物理属性。

3.根据权利要求1或2所述的方法，其中，还包括：

通过管理进程，拉起工作节点的代理进程；所述代理进程用于拉起工作节点的工作进程，所述代理进程和工作进程执行作业的计算逻辑，并将执行结果传输给主节点；

其中，主节点的多任务管理进程与工作节点的工作进程进行通信，以使得工作进程基于多任务管理进程配置的DAG的物理属性，执行作业。

4.根据权利要求3所述的方法，其中，所述在线服务具有多个服务版本，一个服务版本在主节点中配置有相应的一个或多个多任务管理进程，以及在一个工作节点中配置有相应的一个工作进程；相同服务版本的多任务管理进程和工作进程进行通信，以执行相同服务版本的作业，并且不同服务版本的多任务管理进程和工作进程相互隔离。

5.根据权利要求4所述的方法，其中，所述通过管理进程，获取多任务管理进程的启动文件包括：通过管理进程，获取在线服务的服务版本列表，所述服务版本列表记录有在线服务的多个服务版本；通过管理进程，基于服务版本列表中记录的各服务版本，获取各服务版本相应的多任务管理进程的启动文件；

所述通过管理进程，基于多任务管理进程的启动文件，拉起多任务管理进程包括：通过管理进程，基于各服务版本相应的多任务管理进程的启动文件，拉起各服务版本相应的多任务管理进程；

所述方法还包括：

通过管理进程，将所述服务版本列表传输给工作节点的代理进程，以使得代理进程在工作节点拉起各服务版本相应的工作进程。

6.根据权利要求4或5所述的方法，其中，还包括：

获取第一服务版本的新增请求，通过管理进程获取第一服务版本的多任务管理进程的启动文件，基于第一服务版本的多任务管理进程的启动文件，增加拉起第一服务版本的多任务管理进程；以及，通过管理进程将第一服务版本的新增信息发送代理进程，以使得代理进程获取第一服务版本的工作进程的启动文件之后，代理进程在工作节点中增加拉起第一服务版本的工作进程；

和/或，获取第二服务版本的删除请求，通过管理进程停止执行第二服务版本相应的多任务管理进程，以及，通过管理进程将第二服务版本的删除信息发送给代理进程，以使得代理进程停止执行第二服务版本相应的工作进程；

和/或，若检测第三服务版本在指定的时间间隔内没有作业提交，通过管理进程向代理进程发送通知，以使得代理进程停止执行第三服务版本相应的工作进程；

和/或，在第三服务版本相应的工作进程停止执行之后，若获取到第三服务版本的作业请求，通过管理进程向代理进程发送通知，以使得代理进程重新拉起第三服务版本相应的工作进程。

7.根据权利要求4或5所述的方法，其中，所述作业指示希望使用第四服务版本，所述方法还包括：

通过管理进程，将作业转交给第四服务版本的多任务管理进程；

响应第四服务版本的多任务管理进程的资源请求，通过管理进程挑选空闲的目标代理进程，以及将所述目标代理进程下第四服务版本的工作进程信息，返回给第四服务版本的多任务管理进程；其中，空闲的代理进程下的所有工作进程处于空闲状态；

通过第四服务版本的多任务管理进程，从第四服务版本的工作进程，获取作业执行信息，以对作业状态进行收集；

当第四服务版本的作业执行结束时，基于管理进程从所述目标代理进程获取的通知，将所述目标代理进程重新标记为空闲状态；其中，所述目标代理进程停止调度与第四服务版本不同的作业，直至第四服务版本的作业执行结束。