[发明专利]批量调度系统的控制方法及装置

说明书

本发明公开了一种批量调度系统的控制方法及装置，该方法包括：监测基于有向无环图的批量调度系统的运行状态；在批量调度系统的运行状态为中断时，确定异常节点任务；重提批量调度系统，利用重提批量调度系统后异常节点任务的执行结果覆盖异常节点任务的异常执行结果。本发明在监测到批量调度系统的运行状态为中断时确定异常节点任务，进而重提批量调度系统，利用重提后异常节点任务的执行结果覆盖异常节点任务的异常执行结果，能够提高批量调度系统执行结果的准确性。

技术领域

本发明涉及批量处理技术领域，尤其涉及批量调度系统的控制方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

目前，大多数批量调度系统都是基于有向无环图(英文全称：Directed AcyclicGraph，简称DAG)技术来实现各个节点任务之间的驱动依赖关系，解决批量调度系统的高并发及横向扩展功能。

批量调度系统根据驱动依赖关系和系统资源情况把节点任务调用起来并执行，但是批量调度系统把节点任务提交执行的进程与节点任务执行的进程是异步执行的，即批量调度系统把节点任务提交执行后，任务是否执行结束或者成功需要批量调度系统进行轮询判断或者节点任务回调通知才可以。为了保证高可用及节点任务执行结果的准确性，当某一个节点任务因各种原因出现异常时，批量调度系统会把当前运行的所有节点任务的状态置为“killed”状态。由于批量调度系统把节点任务提交执行的进程与节点任务执行的进程是异步执行的，批量调度系统将某个节点任务的状态置为“killed”状态时，可能该节点任务已经执行结束了，正常情况下该节点任务的状态应该为“执行成功”，但现在该任务节点的状态被置为“killed”状态。

其次，在重提批量调度系统时，都是从出问题的异常节点任务或状态置为“killed”的节点任务重跑，即出问题的异常节点任务或状态置为“killed”的节点任务会重新执行，由于已经执行的节点任务的状态被错误的置为“killed”状态，此时会导致引入重复数据，导致批量调度系统的执行结果不准确。

因此，现有的批量调度系统存在执行结果不准确的问题。

发明内容

本发明实施例提供一种批量调度系统的控制方法，用以提高批量调度系统执行结果的准确性，该方法包括：

监测基于有向无环图的批量调度系统的运行状态；

在批量调度系统的运行状态为中断时，确定异常节点任务；

重提批量调度系统，利用重提批量调度系统后异常节点任务的执行结果覆盖异常节点任务的异常执行结果；

其中，异常节点任务包括配置在清理配置表中的第二异常节点任务，清理配置表中同一节点任务每次重提批量调度系统的执行结果不一致，在批量调度系统的运行状态为中断时，确定异常节点任务，包括：

在批量调度系统的运行状态为中断时，确定预置的清理配置表中第二异常节点任务；

相应的，重提批量调度系统，利用重提批量调度系统后异常节点任务的执行结果覆盖异常节点任务的异常执行结果，包括：

对第二异常节点任务的异常执行结果进行清理；

重提批量调度系统，获取重提批量调度系统后第二异常节点任务的执行结果。

本发明实施例还提供一种批量调度系统的控制装置，用以提高批量调度系统执行结果的准确性，该装置包括：

监测模块，用于监测基于有向无环图的批量调度系统的运行状态；

异常确定模块，用于在批量调度系统的运行状态为中断时，确定异常节点任务；