[发明专利]一种在线模型推理系统

权利要求书

1.一种在线模型推理系统，其特征在于，所述系统包括：模型仓库、容器镜像仓库、服务设计器以及模型微服务引擎；

所述模型仓库，用于存储推理模型和所述推理模型的元数据；

所述容器镜像仓库，用于存储所述推理模型运行所需的容器镜像；

所述服务设计器，用于接收用户对待对外提供在线推理服务的推理模型的配置信息；

所述模型微服务引擎，用于按照述配置信息在容器镜像仓库中拉取容器镜像、从所述模型仓库中拉取推理模型及元数据；以及，将所述推理模型、元数据和容器镜像进行封装，得到为可容器化运行的模型推理服务，以对外提供在线推理服务。

2.根据权利要求1所述的在线模型推理系统，其特征在于，所述系统还包括：服务状态监控装置；

所述服务状态监控模块用于确定所述模型微服务引擎中的各个用于搭载推理服务的容器实例的CPU使用率、GPU使用率、内存使用率、响应时延以及容器实例数量；以及，计算所述模型微服务引擎中的所述推理服务的准确性指标。

3.根据权利要求2所述的在线模型推理系统，其特征在于，所述系统还包括：容器编排器；

所述容器编排器用于根据所述CPU使用率、GPU使用率、内存使用率、响应时延以及推理服务数量计算期望容器实例数量，并依据所述期望容器实例数量对所述模型微服务引擎中的容器实例进行增加/删减。

4.根据权利要求3所述的在线模型推理系统，其特征在于，根据所述CPU使用率、GPU使用率、内存使用率、响应时延以及推理服务数量计算期望容器实例数量的公式如下：

其中，α、β、γ、δ分别为CPU使用率、GPU使用率、内存使用率、响应时延4个衡量维度的权重因子，取值范围为[0,1],总和为1，ceil表示向下取整。

5.根据权利要求1所述的在线模型推理系统，其特征在于，所述模型微服务引擎中包括：模型筛选器；

所述模型筛选器用于根据配置信息确定筛选策略，并按照所述筛选策略从所述模型仓库中拉取符合所述筛选策略的推理模型。

6.根据权利要求5所述的在线模型推理系统，其特征在于，所述配置信息包含下列五种模型筛选策略中的任一种；

第一筛选策略：根据所述配置信息确定用户所需的目标数据信息，根据所述目标数据信息确定目标推理模型；

第二筛选策略：从服务状态监控模块获取多个所述推理模型的准确性指标，从多个所述推理模型选取准确性指标最高的推理模型，得到目标推理模型；

第三筛选策略：获取相同类型不同版本的多个所述推理模型的性能评估指标，从多个所述推理模型中选取性能评估指标最高的推理模型，得到目标推理模型；

第四筛选策略：获取相同类型不同版本的多个所述推理模型的性能评估指标，利用所述性能评估指标高于阈值的推理模型更新迭代出目标推理模型；

第五筛选策略：根据所述配置信息确定用户指定的推理模型标识，根据所述推理模型标识确定目标推理模型。

7.根据权利要求1所述的在线模型推理系统，其特征在于，所述服务设计器中包括：压力测试/在线服务模块；

所述压力测试/在线服务模块用于对所述模型微服务引擎中的推理服务进行压力测试，生成测试结果；以及，接收用户的推理服务请用请求。

8.根据权利要求7所述的在线模型推理系统，其特征在于，所述在线模型推理系统还包括：负载均衡器；

所述负载均衡器用于将所述用户的推理服务应用请求分配至所述模型微服务引擎的容器实例中，以使所述容器实例中部署的推理服务响应所述用户的推理服务应用请求。

9.根据权利要求1所述的在线模型推理系统，其特征在于，所述设计器中包括：监控面板；

所述监控面板用于采集服务状态监控模块中的存储数据，并依据预设的计算方式对所述存储数据进行计算得到监控指标，以供用户查看。

10.根据权利要求1所述的在线模型推理系统，其特征在于，所述系统还包括：模型服务发布管理模块；

所述模型服务发布管理模块用于将管理所述模型微服务引擎中的推理服务的上线、下线、注册、发现、发布、重启以及管理功能。