[发明专利]一种集群任务调度方法、装置、计算机设备及存储介质在审
申请号: | 202011167392.2 | 申请日: | 2020-10-28 |
公开(公告)号: | CN112286658A | 公开(公告)日: | 2021-01-29 |
发明(设计)人: | 陈海东 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48 |
代理公司: | 北京中知法苑知识产权代理有限公司 11226 | 代理人: | 李明 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 集群 任务 调度 方法 装置 计算机 设备 存储 介质 | ||
1.一种集群任务调度方法,其特征在于,包括:
获取针对待分配任务的多个分配策略;所述分配策略用于指示将所述待分配任务分配至集群中的指定设备,不同的所述分配策略下的指定设备不同;
针对所述多个分配策略中的每个分配策略,确定在每个所述分配策略下所述集群中的各个设备各自的状态信息;
基于每个所述分配策略下所述集群中各个设备各自的状态信息,通过预训练的任务执行耗时预测模型,预测所述各个设备处理完成在该分配策略下所承接任务的预期耗时;
根据每个所述分配策略下的各个设备处理完成在该分配策略下所承接任务的预期耗时,从多个分配策略中选择出预期耗时符合预设条件的分配策略作为所述待分配任务对应的目标分配策略;
基于所述目标分配策略将所述待分配任务分配给所述目标分配策略下的指定设备。
2.根据权利要求1所述的方法,其特征在于,在每个所述分配策略下的各指定设备各自的状态信息包括:
指定设备在所述分配策略下所承接任务的任务类型、任务执行进度以及指定设备的资源占用程度。
3.根据权利要求2所述的方法,其特征在于,所述状态信息还包括以下信息中的任意一种:
硬盘利用率、网络信息、用户交互信息。
4.根据权利要求1所述的方法,其特征在于,所述基于每个所述分配策略下所述集群中各个设备各自的状态信息,通过预训练的任务执行耗时预测模型,预测所述各个设备处理完成在该分配策略下所承接任务的预期耗时,包括:
针对每个分配策略,基于该分配策略下所述集群中各个设备各自的状态信息,生成与该分配策略对应的状态矩阵;
将每个分配策略对应的所述状态矩阵输入到所述任务执行耗时预测模型,得到所述各个设备处理完成在该分配策略下所承接任务的预期耗时。
5.根据权利要求4所述的方法,其特征在于,所述针对每个分配策略,基于该分配策略下所述集群中各个设备各自的状态信息,生成与该分配策略对应的状态矩阵,包括:
针对每个分配策略,基于该分配策略下所述集群中各个设备各自的状态信息,以及每一个状态信息对应的排列方法,将该分配策略下各个设备的状态信息进行排列,生成该分配策略对应的状态矩阵。
6.根据权利要求1所述的方法,其特征在于,所述根据每个所述分配策略下的各个设备处理完成在该分配策略下所承接任务的预期耗时,从多个分配策略中选择出预期耗时符合预设条件的分配策略作为所述待分配任务对应的目标分配策略,包括:
针对每个分配策略,将该所述分配策略下的各个设备处理完成在该分配策略下所承接任务的预期耗时,按照各个任务对应的预设权重进行加权求和,得到各个分配策略对应的总耗时;
选择总耗时最短的分配策略作为所述目标分配策略。
7.根据权利要求1~6任一所述的方法,其特征在于,在基于所述目标分配策略将所述待分配任务分配给所述目标分配策略下的指定设备之后,所述方法还包括:
获取各个设备处理完成在所述目标分配策略下所承接任务的真实耗时;
基于所述真实耗时和在所述目标分配策略下所述集群中的各个设备各自的状态信息优化所述任务执行耗时预测模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011167392.2/1.html,转载请声明来源钻瓜专利网。