[发明专利]基于Azkaban的批量任务处理方法、装置、设备及存储介质

说明书

本发明实施例公开了一种基于Azkaban的批量任务处理方法、装置、设备及存储介质。本发明涉及人工智能技术领域，其包括：调用Azkaban中的预设登录接口以获取账户认证结果；若账户认证结果为认证成功，则按行依次获取预配置文件中的预设工程名、待执行任务流以及待执行任务，并根据每行预设工程名及待执行任务流依次获取全量任务；将待执行任务及全量任务进行循环比对，以得到全量任务中的待失效任务，并将待失效任务添加至预设失效任务列表；将预设失效任务列表中的待失效任务进行批量失效，并调用Azkaban中的预设执行任务接口执行待执行任务。本申请实施例不仅省时省力，而且能提高任务执行的准确率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于Azkaban的批量任务处理方法、装置、设备及存储介质。

背景技术

随着数据量的丰富，数据之间的交互和依赖就显得格外重要，那么一个任务调度平台的快速使用也变得越来越重要。现如今，有很多开源的调度中心，Azkaban就为其中之一，但Azkaban使用时，会引起以下问题：假设一个任务流下面存在100个任务，只需执行其中的3个任务，如果直接在Azkaban页面点击，页面展示的任务会特别多，无法全部看清楚，可能会存在误操作的情况，且耗时耗力，并且出错的概率也会增大。

发明内容

本发明实施例提供了一种基于Azkaban的批量任务处理方法、装置、设备及存储介质，旨在解决现有执行任务费时费力且准确率较低的问题。

第一方面，本发明实施例提供了一种基于Azkaban的批量任务处理方法，其包括：

调用Azkaban中的预设登录接口以获取账户认证结果；

若所述账户认证结果为认证成功，则按行依次获取预配置文件中的预设工程名、待执行任务流以及待执行任务，并根据每行所述预设工程名及所述待执行任务流依次获取全量任务；

将所述待执行任务与所述全量任务进行循环比对，以得到所述全量任务中的待失效任务，并将所述待失效任务添加至预设失效任务列表；

将所述预设失效任务列表中的所述待失效任务进行批量失效，并调用所述Azkaban中的预设执行任务接口执行所述待执行任务。

第二方面，本发明实施例还提供了一种基于Azkaban的批量任务处理装置，其包括：

第一获取单元，用于调用Azkaban中的预设登录接口以获取账户认证结果；

第二获取单元，用于若所述账户认证结果为认证成功，则按行依次获取预配置文件中的预设工程名、待执行任务流以及待执行任务，并根据每行所述预设工程名及所述待执行任务流依次获取全量任务；

对比单元，用于将所述待执行任务与所述全量任务进行循环比对，以得到所述全量任务中的待失效任务，并将所述待失效任务添加至预设失效任务列表；

执行单元，用于将所述预设失效任务列表中的所述待失效任务进行批量失效，并调用所述Azkaban中的预设执行任务接口执行所述待执行任务。

第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。