[发明专利]任务调度方法和装置、以及集群管理系统

说明书

本发明公开了任务调度方法和装置、以及集群管理系统，涉及计算机技术领域。该方法的一具体实施方式包括：接收任务调度请求，根据任务调度请求，获取大数据运行任务，将大数据运行任务划分为至少一个子任务；生成至少一个子任务对应的任务调度表，按照任务调度表，将至少一个子任务分发到至少一个目标Kubernets集群，其中，至少一个目标Kubernets集群为多个Kubernets集群中的集群；在至少一个目标Kubernets集群运行至少一个子任务后，获取至少一个目标Kubernets集群返回的子任务运行结果。该实施方式能够将大数据运行任务由以前单一集群的运行情况变成多集群共同运行，提升了整体底层计算资源的使用率，为后续更多的大数据和容器结合场景提供了条件。

技术领域

本发明涉及计算机技术领域，尤其涉及一种任务调度方法和装置、以及集群管理系统。

背景技术

容器技术的不断发展，大数据和容器相关的应用结合不断的深化，形成大数据应用的一个分支。大数据组件容器化可以借助Kubernetes集群的容器管理能力，将大数据任务下沉到底层的容器进行执行。其中，Kubernetes是Google开源的容器集群管理系统，提供应用部署、维护、扩展机制等功能，利用Kubernetes能方便管理跨集群运行容器化的应用。

现有技术采用如下两种方式实现任务下发调度：方式一、基于单一的Kubernetes集群，通过计算该Kubernetes集群的节点负载情况，将任务调度到合适的节点上进行运行；方式二、从整体的角度计算大数据任务所需要的整体资源，当单一的Kubernetes集群满足整体资源需求时，进行任务下发调度。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：对于方式一，在集群资源比较紧张或者多个大数据任务同时竞争运行的情况下，会出现死锁现象；对于方式二，以牺牲资源占比大的任务的运行时间来避免竞争资源产生的死锁现象，会导致资源占比大的任务的运行时间长；方式一和方式二只能实现单一集群的资源调度。

发明内容

有鉴于此，本发明实施例提供一种任务调度方法和装置、以及集群管理系统，能够将大数据运行任务由以前单一集群的运行情况变成多集群共同运行，提升了整体底层计算资源的使用率，为后续更多的大数据和容器结合场景提供了条件。

为实现上述目的，根据本发明实施例的第一方面，提供了一种任务调度方法。

本发明实施例的任务调度方法，包括：接收任务调度请求，根据所述任务调度请求，获取大数据运行任务，将所述大数据运行任务划分为至少一个子任务；生成所述至少一个子任务对应的任务调度表，按照所述任务调度表，将所述至少一个子任务分发到至少一个目标Ku bernets集群，其中，所述至少一个目标Kubernets集群为多个Kubernets集群中的集群；在所述至少一个目标Kubernets集群运行所述至少一个子任务后，获取所述至少一个目标Kubernets集群返回的子任务运行结果。

可选地，所述生成所述至少一个子任务对应的任务调度表，包括：获取每个子任务的资源需求数据，按照所述每个子任务的资源需求数据从大到小的顺序，对所述至少一个子任务进行排序；根据所述至少一个子任务的排序，确定所述每个子任务对应的目标Kubernets集群，以生成所述至少一个子任务对应的任务调度表。

可选地，所述确定所述每个子任务对应的目标Kubernets集群，包括：获取所述多个Kubernets集群的资源数据；根据所述多个Kubernets集群的资源数据和所述每个子任务的资源需求数据，从所述多个Kuber nets集群中选择出所述每个子任务对应的目标Kubernets集群。