[发明专利]跨集群任务的执行方法、装置、计算机设备和存储介质

说明书

本申请涉及一种跨集群任务的执行方法、装置、计算机设备和存储介质。方法包括：获取至少两个集群中各任务之间的依赖关系和最底层的子级任务的启动时间，对各任务之间的依赖关系进行拓扑排序，得到依赖关系结构数据；根据启动时间触发最底层的子级任务，根据依赖关系结构数据检查最底层的子级任务对应的父级任务执行状态；并在所有父级任务执行成功后，预提交子级任务；利用本地调度服务和远程调度服务，对预提交的子级任务所依赖任务的执行状态进行检查；在本地的父级任务和/或远程的父级任务执行成功后，提交当前的子级任务进行执行。采用本方法能够准确预估关联任务是否执行完毕，减少跨集群任务的执行错误，提高资源利用率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种跨集群任务的执行方法、装置、计算机设备和存储介质。

背景技术

集群是通过网络互联的、一组相互之间独立的计算机，并可以以统一的方式进行管理的计算机组。集群，具有很高的运算速度，能够完成大运算量的计算；具有较高的响应能力，能够降低整体运维成本。因此，集群得到了越来越多的应用。但是集群之间的任务执行一直是需要重点解决的问题。

由于多个集群之间不能直接设置任务之间的依赖，那么就需要定时去访问关联任务是否已执行完毕。例如，A集群下面的A1任务需要在B集群下面的B1任务执行完毕后才可以开始执行。那么A1任务的执行就需要预估时间，去访问B1任务是否已经执行完毕。由于会存在无法准确预估B1任务的执行完毕时间，如果A1任务在B1任务没有执行完毕的情况下开始执行，就会导致A1任务及其子任务执行错误，造成资源浪费。

发明内容

基于此，有必要针对上述技术问题，提供一种跨集群任务的执行方法、装置、计算机设备和存储介质。

一种跨集群任务的执行方法，所述方法包括：

获取至少两个集群中各任务之间的依赖关系和最底层的子级任务的启动时间，对各任务之间的所述依赖关系进行拓扑排序，得到依赖关系结构数据；

根据所述启动时间触发最底层的子级任务，根据所述依赖关系结构数据检查最底层的子级任务对应的父级任务执行状态；并在所有父级任务执行成功后，预提交子级任务；

利用本地调度服务和远程调度服务，对预提交的子级任务所依赖任务的执行状态进行检查；在本地的父级任务和/或远程的父级任务执行成功后，提交当前的子级任务进行执行。

在其中一个实施例中，所述获取至少两个集群中各任务之间的依赖关系和最底层的子级任务的启动时间，对各任务之间的所述依赖关系进行拓扑排序，得到依赖关系结构数据包括：

获取至少两个集群中各任务之间的依赖关系和最底层的子级任务的启动时间，并将所述依赖关系和启动时间加载进内存，在内存中对各任务所述依赖关系进行拓扑排序，得到依赖关系结构数据。

在其中一个实施例中，所述方法还包括：

在根据所述依赖关系结构数据检查最底层的子级任务对应的父级任务执行状态之后，若存在父级任务未执行，则根据所述依赖关系结构数据中对应的子级任务触发其父级任务。

在其中一个实施例中，所述方法还包括：

在预提交子级任务之前，对各任务的执行状态进行定时检查，并在所有父级任务执行成功后，预提交子级任务。

在其中一个实施例中，所述利用本地调度服务和远程调度服务，对预提交的子级任务所依赖任务的执行状态进行检查，包括：

根据所述依赖关系结构数据，判断当前任务的依赖对象；

若当前任务依赖于本地任务，则启动父子依赖检查线程，将当前任务放入本地待检查队列，对本地待检查队列中当前任务的父级任务的执行状态进行检查；