[发明专利]一种优化批量任务调度依赖的方法

说明书

本发明一种优化批量任务调度依赖的方法，包括：A.在调度系统实现中，在系统内置一个标准的持久化任务信息消息系统；B.支持依赖任务对消息系统内的消息进行订阅配置；C.被依赖任务运行结束后，调度器向数据库层写入该任务的消息信息；D.调度器检查被依赖任务是否已发布消息信息；E.依赖任务订阅被依赖任务信息，信息发布后接收订阅信息执行本任务。本发明内置标准化消息存储，解决跨工作流、跨项目依赖，可以穿透工作流直接对核心任务配置进行依赖处理，工作流/任务运行无需等待前置依赖任务完全运行结束，在依赖核心任务结束后即可执行当前任务。从而简化了跨工作流依赖配置，工作流配置更加简单明了，提高了工作流运行效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种优化批量任务调度依赖的方法。

背景技术

工作流是对工作流程及工作流程中各业务之间如何前后组织在一起的逻辑规则的抽象、概括、描述。工作流概念起源于生产组织和办公自动化领域，是针对日常工作中具有固定程序活动而提出的一个概念，目的是通过将工作分解成定义良好的流程或角色，按照一定的规则和过程来执行这些流程并对其进行监控，达到提高工作效率、更好的控制过程、增强对客户的服务、有效管理业务流程等目的。

任务调度平台是一个集群系统，包括管理节点、计算节点、登录节点等多类节点。任务调度平台通过管理软件提供集群资源管理、集群资源监控、任务调度、任务运行和任务监控等功能。任务调度平台主要应用于高性能计算、网格计算和并行计算等领域，为计算任务提供自动化调度管理，通过各种资源管理策略使大量任务共享集群资源来提高整体资源利用率。任务调度平台为计算任务提供自动化调度管理，在自动化办公领域，许多工作流系统的业务需要调用任务调度平台来实现大规模的计算任务。

当前任务调度系统中，任务间的依赖关系主要通过工作流DAG(有向无环图)描述任务间的依赖关系。依赖关系也仅限于工作流内部，跨工作流依赖、跨项目依赖处理起来只能通过文件检测、数据库检测等方式进行，内部实现复杂且有诸多不便。

发明内容

本发明提供了一种优化批量任务调度依赖的方法，将工作流外部依赖标准化，简化跨工作流依赖配置，能够使处理工作流配置变得更加简单明了。

本发明一种优化批量任务调度依赖的方法，包括：

A.对工作流a进行配置，将任务C设置为消息发布任务，支持消息发布任务C对本任务的消息：任务主题、任务业务时间和消息状态的发布配置，其中任务主题即消息发布任务C，任务业务时间和消息状态根据工作流a运行时的状态而产生；

B.对工作流b进行配置，将任务F设置为消息订阅任务，支持消息订阅任务F对消息发布任务C发布在消息系统内的任务主题、任务业务时间和消息状态的订阅配置，其中所订阅的任务业务时间与工作流b运行时自身的业务时间相等，即所订阅的消息是工作流b业务时间段所对应的工作流a相同业务时间段内的消息；

C.在工作流a中，当消息发布任务C运行结束后，向数据库层写入其消息信息；

D.在工作流b中，当消息订阅任务F前的普通任务正常结束后，由调度器检查消息订阅任务F所依赖的工作流a中消息发布任务C是否写入其消息信息，若消息发布任务C已经结束并写入其消息信息，则消息订阅任务F订阅该消息，由此继续执行消息订阅任务F;若消息发布任务C没有向数据库层写入其消息信息，则消息订阅任务F在调度器中申请订阅消息发布任务C的消息信息，并且工作流b进入休眠状态；

E.消息订阅任务F申请订阅消息发布任务C的消息信息后，若工作流a中的消息发布任务C运行结束后并向数据库层写入了其消息信息，则调度器唤醒同样业务时间内并且订阅了消息发布任务C的消息的工作流b,工作流b继续执行工作任务。

本发明通过将任务执行状态及其配置参数存储标准化，将工作流核心任务信息暴露至标准信息存储中并提供可编程API将工作流外部依赖标准化，从而简化了跨工作流依赖配置处理，使工作流配置更加简单明了。