[发明专利]基于Seldon的AI模型发布方法及系统

权利要求书

1.基于Seldon的AI模型发布方法，采用的系统包括容器管理模块以及与容器管理模块连接的模型库、镜像仓库管理模块、模型容器、制品库和数据库，镜像仓库管理模块内置镜像仓库，镜像仓库管理模块用于从镜像仓库提取基础镜像文件并提供给容器管理模块，模型库用于提供对应的模型文件，制品库提供模型安装所需环境的安装包，数据库用于存储基础模型对应的数据库信息，容器管理模块负责生成容器和基础模型加载文件并启动容器；容器管理模块通过维护数据库与基础模型加载文件自动生成对应模型加载代码并发布模型；模型容器连接服务管理模块，服务管理模块提供模型服务注册信息并提供对外服务；其特征在于：方法包括以下步骤：

步骤1：镜像仓库管理模块存放AI模型发布的seldon基础镜像，seldon基础镜像内安装git，并且写入了执行脚本下载代码和模型文件的运行脚本；

步骤2：容器管理模块使用seldon基础镜像启动容器，执行dockerfile中写的CMD命令，执行镜像中的模型脚本将模型加载入容器；步骤2的具体加载步骤如下：

步骤2-1，判断是否使用seldon基础镜像开启容器；是则，通过环境变量传入需要发布的模型的名称和版本号以从数据库查找元数据表并执行步骤2-2；否则，结束并退出；

步骤2-2，判断元数据表查找结果是否为空；是则，返回对应模型名称下所有版本号信息并结束退出；否则，返回该模型名称和版本号在数据库中存储信息并执行步骤2-3，

步骤2-3，根据模型存放文件名和地址下载模型，并判断模型是否下载成功；是则，根据模型运行环境安装包存放地址下载所需安装包并执行步骤2-4；否则，返回错误信息并结束退出；

步骤2-4，判断安装包是否下载成功；是则，生成对应模型的加载文件model.py并执行步骤2-5；否则，返回错误信息并结束退出；

步骤2-5，判断加载文件model.py是否生成成功；是则，运行模型加载代码model.py将模型加载入容器并执行步骤3；否则，返回错误信息并结束退出；

步骤3：服务管理模块在容器开启以后作为服务注册到网关，通过rest或者gRPC的方式对外提供服务。

2.根据权利要求1所述的基于Seldon的AI模型发布方法，其特征在于：基础镜像是以Seldon为基础的docker镜像。

3.根据权利要求1所述的基于Seldon的AI模型发布方法，其特征在于：seldon基础镜像内安装git，并且写入了执行脚本下载代码和模型文件的运行脚本；模型文件脚本用于定义模型版本，并在需要的时候进行模型版本回滚操作。

4.根据权利要求1所述的基于Seldon的AI模型发布方法，其特征在于：数据库包括模型的评估信息、准确度以及存储模型所需的依赖信息。

5.根据权利要求1所述的基于Seldon的AI模型发布方法，其特征在于：数据库自动生成ModelId作为标识模型的唯一序列号；模型名称、模型版本号和创建时间在存储数据时人工输入数据库；模型名称与版本号组成唯一标识的命名规则并作为文件名存储在模型库内；数据库中模型的存储路径为模型库Model分类下的对应模型文件位置；数据库中模型运行环境安装包地址格式为制品库Environment分类下的对应模型名称的文件。

6.根据权利要求1所述的基于Seldon的AI模型发布方法，其特征在于：步骤1中的模型文件脚本用于定义模型版本，并在需要的时候进行模型版本回滚操作。

7.根据权利要求1所述的基于Seldon的AI模型发布方法，其特征在于：步骤2-2的存储信息包括模型存取地址。

8.根据权利要求1所述的基于Seldon的AI模型发布方法，其特征在于：步骤3中服务管理模块通过控制容器的注册信息来管理容器的对外服务。