[发明专利]一种机器学习管道模型分层化管理和分发的方法及系统

权利要求书

1.一种机器学习管道模型分层化管理和分发的方法，其特征在于，包括以下步骤：

S1：获取多个机器学习模型，使用DAG定义机器学习模型之间的管道关系，通过序列化操作得到DAG模型；

S2：自定义一个配置文件；

S3：根据自定义的配置文件生成镜像构建脚本；

S4：根据所述镜像构建脚本对所述多个机器学习模型和所述DAG模型进行构建，生成机器学习管道模型的Docker镜像和对应的工件类型文件；

S5：将所述机器学习管道模型的Docker镜像和对应的工件类型文件推送至模型镜像仓库。

2.根据权利要求1所述的一种机器学习管道模型分层化管理和分发的方法，其特征在于，所述DAG用于定义多个机器学习模型间的管道关系；利用编程语言去完成多个机器学习模型调用的DAG，通过序列化操作将DAG作为模型来存储。

3.根据权利要求1所述的一种机器学习管道模型分层化管理和分发的方法，其特征在于，通过自定义配置文件划分多个机器学习模型和DAG模型在待构建的Docker镜像中的层次关系。

4.根据权利要求3所述的一种机器学习管道模型分层化管理和分发的方法，其特征在于，所述自定义配置文件具体包括：配置文件需要指定的机器学习模型的读取位置、配置文件需要划分的Docker镜像中的每个镜像层包含有一个机器学习模型的约束关系、配置文件需要划分多个机器学习模型所对应的镜像层的构建顺序和层次，配置文件需要划分的DAG模型所对应的镜像层的构建顺序和层次。

5.根据权利要求1所述的一种机器学习管道模型分层化管理和分发的方法，其特征在于，生成镜像构建脚本的具体过程包括：所述模型管理客户端通过读取和解析配置文件操作后，生成符合Docker规范的镜像构建脚本。

6.根据权利要求1所述的一种机器学习管道模型分层化管理和分发的方法，其特征在于，根据所述镜像构建脚本对所述多个机器学习模型和所述DAG模型进行构建，生成模型管理客户端构建符合Docker规范的机器学习管道模型的Docker镜像和通过扩展Docker后台功能后生成符合OCI标准的机器学习管道模型的工件类型Manifest文件。

7.根据权利要求6所述的一种机器学习管道模型分层化管理和分发的方法，其特征在于，所述Manifest文件的结构根据OCI分发规范；其中，Manifest为JSON格式文件，包括两个部分：Config部分和Layers部分；所述Config部分记录了关于镜像的配置，为镜像的元数据，用于镜像仓库的UI中展示信息，区分不同操作系统的构建；所述Layers部分是由多层mediaType为OCI标准中application/vnd.oci.image.layer.v1.*的内容组成；所述Config部分和Layers部分中的每一层，以Blob的方式存储在模型镜像仓库中；其中，管道模型镜像的digest作为Key存在。

8.一种机器学习管道模型分层化管理和分发的系统，其特征在于，包括模型管理客户端和模型镜像仓库；所述模型管理客户端包括命令行管理工具模块和Docker后台模块；

所述模型管理客户端从所述模型镜像仓库中拉取机器学习管道模型的Docker镜像；所述模型管理客户端通过推送命令和模型镜像仓库交互，并上传管道模型镜像至模型镜像仓库

所述命令行管理工具模块，用于以命令行的方式提供机器学习管道模型构建、上传、下载等工具；

所述Docker后台模块，用于提供API接收来自命令行管理工具的请求，支持用户可通过构建自定义镜像的方式管理机器学习管道模型，根据不同的请求分发给不同模块进而执行相应的工作；

所述模型镜像仓库，用于提供DockerRegistryAPI来接收来自模型管理客户端的请求，支持用户上传、下载机器学习管道模型，能够在服务器端对模型文件和模型属性进行分层存储管理；支持符合OCI标准的镜像仓库方案。