[发明专利]分布式任务的处理方法、系统、装置、设备和介质

说明书

本发明涉及一种分布式任务的处理方法、系统、装置、设备和介质。该分布式任务的处理方法包括：接收待处理任务，将待处理任务拆分成多个子任务，其中，多个子任务包括：一个前置子任务和至少两个后置子任务，至少两个后置子任务依赖前置子任务；将前置子任务调度至第一服务器；确定前置子任务执行结束，将待处理后置子任务调度至第二服务器，其中，待处理后置子任务为至少两个后置子任务中的部分或者全部子任务，第二服务器为所述第一服务器所在集群中的任意一个服务器。该分布式任务的处理方法能够提高任务处理的效率。

技术领域

本公开涉及分布式任务处理技术领域，尤其涉及一种分布式任务的处理方法、系统、装置、设备和介质。

背景技术

分布式任务处理系统是多台计算机通过通信网络互连而构成的系统，用于管理分布式系统资源，在分布式计算机操作系统支持下，互连的计算机可以相互协调工作，共同完成一项任务。在分布式环境下，一个待处理的分布式任务通常会被拆分成多个子任务，并将拆分后得到的各个子任务分发到若干计算节点进行处理。

在分布式任务处理系统中，多个任务可能依赖同一种资源，执行每个任务时都需要对共同依赖的资源进行同样的处理，例如在长视频转码的场景中，多个转码任务仅需要依赖同一个视频源文件，执行每个子任务都需要下载长视频源，若共同依赖的资源的提供方存在性能瓶颈，可能导致任务处理的效率降低。

发明内容

本发明实施例提供了一种分布式任务的处理方法、系统、装置、设备和介质，能够提高任务处理的效率。

第一方面，本发明实施例提供了一种分布式任务的处理方法，包括：

接收待处理任务，将所述待处理任务拆分成多个子任务，其中，所述多个子任务包括：一个前置子任务和至少两个后置子任务，所述至少两个后置子任务依赖所述前置子任务；

将所述前置子任务调度至第一服务器；

确定所述前置子任务执行结束，将所述待处理后置子任务调度至第二服务器，其中，所述待处理后置子任务为所述至少两个后置子任务中的部分或者全部子任务，所述第二服务器为所述第一服务器所在集群中的任意一个服务器。

可选地，所述将所述待处理后置子任务调度至第二服务器之前，还包括：

根据所述前置子任务携带的任务标识，建立所述任务标识与所述第一服务器的第一对应关系；

根据所述第一对应关系以及所述第一服务器所在的集群，建立所述任务标识与所述集群的第二对应关系；

所述将所述待处理后置子任务调度至第二服务器，包括：

根据所述第二对应关系以及所述待处理后置子任务携带的任务标识，将所述待处理后置子任务调度至所述待处理后置子任务携带的任务标识对应的集群中的第二服务器。

可选地，分布式任务的处理方法还包括：

将所述第一服务器中所述前置子任务的执行结果迁移至第三服务器接收，其中，所述第三服务器与所述第一服务器位于同一集群内。

可选地，所述第二服务器与所述第一服务器为同一个服务器；

所述将所述待处理后置子任务调度至第二服务器之前，还包括：

根据所述前置子任务携带的任务标识，建立所述任务标识与所述第一服务器的第一对应关系；

将所述待处理后置子任务调度至第二服务器，包括：

根据所述第一对应关系以及所述待处理后置子任务携带的任务标识，将所述待处理后置子任务调度至所述待处理后置子任务携带的任务标识对应的第一服务器。

可选地，分布式任务的处理方法还包括：