[发明专利]基于k8s的工作流引擎的使用方法及装置

说明书

本发明提供了一种基于k8s的工作流引擎的使用方法及装置，其中，基于k8s的工作流引擎的使用方法提供统一模式的工作流创建、调度、运行、升级、终止等功能；具有良好的项目架构，便于需求扩展和协同开发以及维护；可以扩展支持定时调度、优先级调度、事件触发机制。

技术领域

本发明属于工作流引擎使用领域，具体涉及一种基于k8s的工作流引擎的使用方法及装置。

背景技术

现有技术中的工作流引擎采用的kubernetes+docker的架构，k8s自带的工作流仅能应付简单的Job(工作)和Deployment(部署)任务。

然而，面向的人工智能和大数据，就不可避免的要支持各种框架的编排，如Spark、Tensorflow等批处理，又如kafka等流处理，另外还需要支持定时任务的调度。

现有的工作流引擎并不能满足上述情况的使用需求。

发明内容

本发明所要解决的技术问题是提供一种基于k8s的工作流引擎的使用方法及装置。

本发明解决其技术问题所采用的技术方案是：提供了一种基于k8s的工作流引擎的使用方法，包括：

调用执行管理提供的api接口提交任务创建申请；

通过执行管理将各微服务提交的任务创建请求数据转换后发送给工作流引擎；

工作流引擎根据接收的转换后的任务创建请求数据创建工作流对象；

依据工作流对象获取pod创建请求并发送给k8s；

k8s依据接收的pod创建请求通过kubelet创建对应的Pod；

通过任务调度引擎将pod创建成功反馈给对应的微服务。

进一步的，所述工作流引擎根据接收的转换后的任务创建请求数据创建工作流对象的方法包括：

获取任务创建请求数据；

工作流控制器基于client-go提供的informer机制，对工作流接收的任务创建请求数据触发的事件实用一个队列进行缓冲和处理并创建工作流对象。

进一步的，所述工作流控制器基于client-go提供的informer机制，对工作流接收的任务创建请求数据触发的事件实用一个队列进行缓冲和处理并创建工作流对象的方法，即：

工作流接收的任务创建请求数据所有触发的事件生成一个key并投递到队列中，然后多个goroutine并发的去从队列中获取key，并获取对应的Workflow进行处理，完成工作流对象的创建。

进一步的，所述工作流对象包括包括TypeMeta,ObjectMeta,Spec,Status。

进一步的，在工作流控制器基于client-go提供的informer机制，对工作流接收的任务创建请求数据触发的事件实用一个队列进行缓冲和处理并创建工作流对象的同时，所述工作流引擎根据接收的转换后的任务创建请求数据创建工作流对象的方法还包括：

基于Informer机制对工作流进行监听；

对所有类型的node创建相应的Informer进行监听，并将node的时间投递到与任务创建请求数据对应的事件队列。

进一步的，提交任务创建申请的微服务包括project-manager、iflow-manager以及data-manager中的一种或多种。

进一步的，所述k8s依据接收的pod创建请求通过kubelet创建对应的Pod的方法包括：

获取pod创建请求对应的资源和限制要求；