[发明专利]实现任务调度的方法、装置及系统

说明书

本发明提供了一种实现任务调度的方法、装置及系统，该方法包括：获取客户端提交的目标数据处理任务、及目标数据处理任务的运行参数；获取可用计算集群的资源使用信息；根据目标处理任务的运行参数和可用计算集群的资源使用信息，从可用计算集群中选取目标计算集群；将目标数据处理任务调度至目标计算集群中运行。

技术领域

本发明涉及数据处理技术领域，更具体地，涉及一种实现任务调度的方法、一种实现任务调度的装置、一种包括至少一个计算装置和至少一个存储装置的系统、及一种可读存储介质。

背景技术

Spark是目前主流的开源大数据处理框架，广泛用于机器学习的数据清洗、数据探索和特征抽取等大数据处理任务。目前Spark支持的调度数据处理任务的计算集群包括Kubernetes计算集群、YARN计算集群、Mesos计算集群、Standalone计算集群以及Local计算集群。

用户在通过客户端提交数据处理任务时，需要预先通过--master和--deploy-mode参数来指定运行该数据处理任务的计算集群，而且，每次提交数据处理任务时只能选择一个计算集群。

但是，在真实的企业环境中，一般都会有多个Yarn计算集群和/或Kubernetes计算集群，这些计算集群都可以为Spark数据处理任务提供计算资源。如果客户端每次都只向同一个计算集群提交数据处理任务，可能导致该计算集群资源不足、而其他计算集群空闲，使得计算集群的整体资源利用率较低。

发明内容

本发明的一个目的是提供一种调度数据处理任务的新技术方案。

根据本发明的第一方面，提供了一种实现任务调度的方法，包括：

获取客户端提交的目标数据处理任务、及所述目标数据处理任务的运行参数；

获取可用计算集群的资源使用信息；

根据所述目标数据处理任务的运行参数和所述可用计算集群的资源使用信息，从所述可用计算集群中选取目标计算集群；

将所述目标数据处理任务调度至所述目标计算集群中运行。

可选的，该方法还包括：获取后端计算集群的注册信息，完成计算集群的注册；

所述可用计算集群为已注册的计算集群。

可选的，所述根据所述目标数据处理任务的运行参数和所述可用计算集群的资源使用信息，从所述可用计算集群中选取目标计算集群包括：

根据所述目标数据处理任务的运行参数，从所述可用计算集群中选取剩余资源大于或等于运行所述目标数据处理任务所需的资源的可用计算集群，作为备选计算集群；

根据所述资源使用信息，从所述备选计算集群中选取所述目标计算集群。

可选的，所述根据所述资源使用信息，从所述备选计算集群中选取所述目标计算集群包括：

从所述备选计算集群中，选取剩余资源最大的一个，作为所述目标计算集群。

可选的，所述根据所述资源使用信息，从所述备选计算集群中选取所述目标计算集群包括：

从所述备选计算集群中，选取已使用资源最多的一个，作为所述目标计算集群。

可选的，所述根据所述资源使用信息，从所述备选计算集群中选取所述目标计算集群包括：

基于预设的集群评分模型，根据所述资源使用信息和所述运行参数，确定每一所述备选计算集群的评分；

根据所述评分选取所述目标计算集群。

可选的，还包括训练所述集群评分模型的步骤，包括：