[发明专利]基于容器的机器学习流程化训练任务执行方法及系统

权利要求书

1.基于容器的机器学习流程化训练任务执行方法，其特征在于，包括：

提交以有向无环图数据结构描述的机器学习流程化训练任务xml文件；

将机器学习流程化训练任务的初始记录插入流程信息表中，并对有向无环图规则进行校验；

对于校验成功的机器学习流程化训练任务向Kubenetes资源池申请相匹配的容器化运行环境，并创建Pod，包括：解析机器学习流程化训练任务xml文件，获取运算节点运行所需资源，所述运行所需资源包括CPUC和内存资源；向Kubenetes 应用服务器发起创建Pod请求，将yaml格式配置文件信息写入Kubenetes 应用服务器的etcd数据库；向Kubenetes资源池申请与写入配置文件相匹配的容器化运行环境，并将xml文件中的运算节点信息传递给容器，创建Pod；所述yaml格式配置文件包括版本apiVersion、资源kind、元数据metadata和目标状态spec四个字段；其中，apiVersion包含版本信息；kind 定义了资源类型；metadata包含了资源名称和命名空间；spec下定义了Pod中容器的名称、运行时的镜像和镜像的拉取策略；

在Pod中加载任务执行器镜像文件生成任务执行器容器，执行机器学习流程化训练任务；

对执行完的机器学习流程化训练任务更新流程信息表，并删除Pod。

2.根据权利要求1所述的基于容器的机器学习流程化训练任务执行方法，其特征在于，还包括，

通过Docker+Kubernetes技术将各基础设施进行集群资源池化，生成Kubenetes资源池，通过Kubernetes API创建符合训练需求的容器化运行环境；所述基础设施包括CPU资源，GPU资源和存储资源。

3.根据权利要求1所述的基于容器的机器学习流程化训练任务执行方法，其特征在于，所述以有向无环图数据结构描述的机器学习流程化训练任务xml文件为：

将机器学习流程化训练任务的特征选择、算法选择、参数设置、迭代次数和验证评估环节抽象为有向无环图中的运算节点，将机器学习流程化训练任务的运行序列抽象为有向无环图中的边，将运算节点、运行序列与运行所需资源整体用xml格式描述，xml文件中包括流程ID，运算节点ID，运算节点间的连接关系和运算节点运行所需资源。

4.根据权利要求1所述的基于容器的机器学习流程化训练任务执行方法，其特征在于，所述流程信息表包括：流程ID、流水号、开始时间、结束时间和是否执行完成。

5.根据权利要求3所述的基于容器的机器学习流程化训练任务执行方法，其特征在于，所述对有向无环图规则进行校验，包括：

检查当前训练任务的上一次执行是否已完成；如果上一次训练任务已完成，则校验成功；如果上一次训练任务未完成，则校验失败；

检查当前训练任务的所有运算节点与上一次执行时的运算节点是否完全相同；如果完全相同，则校验成功；如果不完全相同，检查当前执行运算节点的前序是否增加或减少了运算节点，未增加或减少则校验成功，增加或减少则校验失败。

6.根据权利要求1所述的基于容器的机器学习流程化训练任务执行方法，其特征在于，还包括：

如果Pod创建失败，删除etcd数据库中的yaml格式配置文件，并重新创建pod，重试3次。

7.根据权利要求1所述的基于容器的机器学习流程化训练任务执行方法，其特征在于，所述在Pod中加载任务执行器镜像文件生成任务执行器容器，包括：

预先将任务执行器应用程序打包成可执行executor.jar包并上传到Kubenetes 应用服务器；

在jar包路径下创建Dockerfile文件，Dockerfile文件中指定基础镜像、节点包复制到基础镜像的根目录、容器向外暴露的端口、和镜像运行为容器后执行的命令CMD；

使用docker build命令，执行Dockerfile中的所有指令，生成任务执行器镜像文件；

在Pod中基于yaml格式配置文件加载任务执行器镜像文件生成任务执行器容器。