[发明专利]分布式任务的处理方法、系统、装置、设备和介质在审
申请号: | 202110195236.5 | 申请日: | 2021-02-19 |
公开(公告)号: | CN113010280A | 公开(公告)日: | 2021-06-22 |
发明(设计)人: | 龙飞 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50 |
代理公司: | 北京开阳星知识产权代理有限公司 11710 | 代理人: | 祝乐芳 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 任务 处理 方法 系统 装置 设备 介质 | ||
1.一种分布式任务的处理方法,其特征在于,包括:
接收待处理任务,将所述待处理任务拆分成多个子任务,其中,所述多个子任务包括:一个前置子任务和至少两个后置子任务,所述至少两个后置子任务依赖所述前置子任务;
将所述前置子任务调度至第一服务器;
确定所述前置子任务执行结束,将所述待处理后置子任务调度至第二服务器,其中,所述待处理后置子任务为所述至少两个后置子任务中的部分或者全部子任务,所述第二服务器为所述第一服务器所在集群中的任意一个服务器。
2.根据权利要求1所述的分布式任务的处理方法,其特征在于,所述将所述待处理后置子任务调度至第二服务器之前,还包括:
根据所述前置子任务携带的任务标识,建立所述任务标识与所述第一服务器的第一对应关系;
根据所述第一对应关系以及所述第一服务器所在的集群,建立所述任务标识与所述集群的第二对应关系;
所述将所述待处理后置子任务调度至第二服务器,包括:
根据所述第二对应关系以及所述待处理后置子任务携带的任务标识,将所述待处理后置子任务调度至所述待处理后置子任务携带的任务标识对应的集群中的第二服务器。
3.根据权利要求2所述的分布式任务的处理方法,其特征在于,还包括:
将所述第一服务器中所述前置子任务的执行结果迁移至第三服务器接收,其中,所述第三服务器与所述第一服务器位于同一集群内。
4.根据权利要求1所述的分布式任务的处理方法,其特征在于,所述第二服务器与所述第一服务器为同一个服务器;
所述将所述待处理后置子任务调度至第二服务器之前,还包括:
根据所述前置子任务携带的任务标识,建立所述任务标识与所述第一服务器的第一对应关系;
将所述待处理后置子任务调度至第二服务器,包括:
根据所述第一对应关系以及所述待处理后置子任务携带的任务标识,将所述待处理后置子任务调度至所述待处理后置子任务携带的任务标识对应的第一服务器。
5.根据权利要求4所述的分布式任务的处理方法,其特征在于,还包括:
将所述第一服务器中所述前置子任务的执行结果迁移至所述第三服务器接收,其中,所述第三服务器与所述第一服务器位于同一集群内;
更新所述任务标识与所述第一服务器的第一对应关系,其中,更新后的所述第一服务器为所述第三服务器。
6.根据权利要求1-5任一项所述的分布式任务的处理方法,其特征在于,所述将所述待处理后置子任务调度至第二服务器之前,还包括:
根据所述前置子任务的执行结果,确定所述待处理后置子任务。
7.一种分布式任务的处理系统,其特征在于,包括:工作流服务器和任务调度器,所述工作流服务器与所述任务调度器通信连接;其中,
所述工作流服务器,用于接收待处理任务,将所述待处理任务拆分成多个子任务,其中,所述多个子任务包括:一个前置子任务和至少两个后置子任务,所述至少两个后置子任务依赖所述前置子任务;
所述任务调度器,用于将所述前置子任务调度至第一服务器;
所述工作流服务器,用于确定所述前置子任务执行结束,将所述待处理后置子任务以及所述前置子任务发送至所述任务调度器;
所述任务调度器,用于将所述待处理后置子任务调度至第二服务器,其中,所述待处理后置子任务为所述至少两个后置子任务中的部分或者全部子任务,所述第二服务器为所述第一服务器所在集群中的任意一个服务器。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110195236.5/1.html,转载请声明来源钻瓜专利网。