[发明专利]基于Kubernetes系统对接工作流引擎的作业调度方法和装置

说明书

本发明公开了一种基于Kubernetes系统对接工作流引擎的作业调度方法和装置，所述方法包括：接收工作流引擎提交的可执行单元；根据所述可执行单元的参数，生成用于供Kubernetes系统创建容器的配置文件；将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元；接收Kubernetes系统返回的关于所述可执行单元的第一结果信息；对所述第一结果信息进行转译，生成能够被工作流引擎识别的第二结果信息，并将所述第二结果信息发送至工作流引擎；若所述第二结果信息为执行成功，则接收工作流引擎按所述执行顺序提交的下一个可执行单元。本发明能够实现工作流引擎与Kubernetes系统的对接协同工作，有效提升作业执行效率和资源使用效率。

技术领域

本发明涉及数据处理技术领域，特别是指一种基于Kubernetes系统对接工作流引擎的作业调度方法和装置。

背景技术

工作流引擎是一个管理业务流程或者数据分析流程作业的应用，它管理和监控作业执行的状态。可以按照作业流程定义将作业拆分成若干个有先后执行顺序的可执行单元，分派可执行单元给相应的计算资源执行，并监控可执行单元的执行结果，直到整个作业执行完成或失败退出。

在工作流引擎应用中，会大量存在可执行单元并发执行的场景，比如多个作业同时运行或者单个作业中并发执行可执行单元。相对于单机执行，如果将可执行单元的执行调度到一个分布式计算集群上一方面可以大大提高作业执行效率，另一方面可以有效管理资源使用效率，所以很多工作流引擎应用都需要开发插件来和后台分布式计算集群集成。并且，由于容器(Pod)技术的大力发展，将可执行单元封装成单独容器并分配相应的资源加以执行也逐渐成为趋势。Kubernetes作为一个容器集群管理系统也成为工作流引擎与之对接的常见分布式计算集群。但是Kubernetes原生系统里针对这种场景缺乏一个好的实现，使得工作流引擎无法与Kubernetes协同工作完成可执行单元的并发执行工作，降低了作业执行效率和资源使用效率。

发明内容

有鉴于此，本发明的目的在于提出一种能够有效提升作业执行效率和资源使用效率的基于Kubernetes系统对接工作流引擎的作业调度方法和装置。

基于上述目的本发明提供的一种基于Kubernetes系统对接工作流引擎的作业调度方法，其中，工作流引擎将作业拆分成若干个具有执行顺序的可执行单元；所述方法包括：

接收工作流引擎提交的可执行单元；

根据所述可执行单元的参数，生成用于供Kubernetes系统创建容器的配置文件；

将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元；

接收Kubernetes系统返回的关于所述可执行单元的第一结果信息；

对所述第一结果信息进行转译，生成能够被工作流引擎识别的第二结果信息，并将所述第二结果信息发送至工作流引擎；

若所述第二结果信息为执行成功，则接收工作流引擎按所述执行顺序提交的下一个可执行单元。

在一些实施方式中，所述方法还包括：

若所述第二结果信息为执行失败，则接收工作流引擎提交的容器删除请求，并将所述容器删除请求发送至Kubernetes系统；

接收Kubernetes系统返回的容器删除信息，并将所述容器删除信息发送至工作流引擎，使工作流引擎中断所述作业。

在一些实施方式中，所述则接收工作流引擎提交的容器删除请求，并将所述容器删除请求发送至Kubernetes系统的步骤之前，还包括：

接收工作流引擎提交的错误日志查询请求，并将所述错误日志查询请求发送至Kubernetes系统；