[发明专利]分布式作业服务调度方法、分布式服务器及业务终端

说明书

本发明提供的分布式作业服务调度方法、分布式服务器及业务终端，可用于大数据技术领域，首先获取各业务终端的业务服务调度信息，然后将所述业务调度信息编排至一消息流水线；最后根据所述消息流水线对各业务终端进行服务调度，可以看出，本发明通过消息流水线的设置，以任务为载体组件化业务功能，以流水线的方式完成依赖关系，解决传统项目中具有前后依赖关系的作业执行问题。降低系统间数据同步采集、功能整合拆解的耦合性，保证数据一致性。为业务系统的业务规则变化和业务架构升级提供可扩展性，作业调度的修改新增，无需修改业务方应用重新部署，即可在线生效，业务方业务规则的扩展和变化只需修改流水线，无需业务方应用重新部署。

技术领域

本发明涉及分布式处理技术领域，具体涉及分布式作业服务调度方法、分布式服务器及业务终端。

背景技术

在传统项目中，作业调度框架常常与业务系统耦合在一起，共同打包发布和部署。各系统间的数据同步采集需要开发人员协调业务接口，涉及接口地址和协议的改变则要伤筋动骨且数据一致性无法得到保证。业务功能没有形成模块化，业务间的依赖高度耦合。开发人员和运维人员对于系统后台的作业没有一个直观的感知，无法做到作业调度在线的修改，暂停和启动，对于后台批量任务的执行状况无法有一个全局的掌控。对于有风险的后台批量任务没有有效的控制手段。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种开放平台分布式作业调度和监控的系统，解决上述的问题。本发明旨在解耦作业调度框架和业务系统，通过服务化的方式提供作业调度服务。通过配置化的方式，实现灵活业务需求，例如对作业任务的在线修改和启停，业务功能的修改和扩展。通过高可用设计保证作业调度服务的持续可用性，让接入端，可以方便地调度运行作业，并得到实时的运行结果、日志及分析报告。

本发明的核心构思在于提供分布式作业服务调度方法、分布式服务器及业务终端，首先获取各业务终端的业务服务调度信息，所述业务调度信息包括每个业务终端对应的任务以及各任务之间的依赖关系；然后将所述业务调度信息编排至一消息流水线；最后根据所述消息流水线对各业务终端进行服务调度，可以看出，本发明通过消息流水线的设置，以任务为载体组件化业务功能，以流水线的方式完成依赖关系，解决传统项目中具有前后依赖关系的作业执行问题。降低系统间数据同步采集、功能整合拆解的耦合性，保证数据一致性。为业务系统的业务规则变化和业务架构升级提供可扩展性，作业调度的修改新增，无需修改业务方应用重新部署，即可在线生效，业务方业务规则的扩展和变化只需修改流水线，无需业务方应用重新部署。

为解决上述技术问题，本发明提供以下技术方案：

本发明实施例提供一种分布式作业服务调度方法，所述方法由分布式服务器执行，包括：

获取各业务终端的业务服务调度信息，所述业务调度信息包括每个业务终端对应的任务以及各任务之间的依赖关系；

将所述业务调度信息编排至一消息流水线；

根据所述消息流水线对各业务终端进行服务调度。

在优选的实施例中，还包括：

建立所述消息流水线。

在优选的实施例中，所述根据所述消息流水线对各业务终端进行服务调度，包括：

根据所述消息流水线中各任务的排序逐一调度系统内对应的服务；

获取各业务终端的任务执行情况信息；

若当前调度的服务所对应的任务执行完成，则清理所述消息流水线中对应的业务调度信息。

本发明进一步提供一种分布式作业服务调度方法，所述方法由业务终端执行，包括：