[发明专利]在线推理服务系统、提供在线推理服务的方法及装置

说明书

本公开关于在线推理服务系统、提供在线推理服务的方法及装置，所述在线推理服务系统包括：模型管理平台，用于获取并保存目标模型的目标模型文件和目标模型信息，目标模型文件包括训练目标模型得到的模型数据，目标模型信息包括对应于目标模型的模型相关信息；在线推理引擎，用于确定匹配于目标模型的目标推理框架，并根据从模型管理平台获取的目标模型文件和目标模型信息配置目标推理框架，以用于提供在线推理服务。

技术领域

本公开涉及模型管理及应用领域，尤其涉及在线推理服务系统、提供在线推理服务的方法及装置。

背景技术

为提高对训练得到的机器学习模型或深度学习模型等推理模型的管理效率，开发者通常会将推理模型托管在公有云平台中或开源模型仓库中。

然而在相关技术中，无论是共有云平台还是开源模型仓库，通常仅提供对推理模型的上传、存储、分发和下载等简单管理功能。当开发者需要使用推理模型提供在线推理服务，即服务化推理模型时，往往需要自行选择模型框架并通过相关逻辑生成对应于推理模型的在线推理服务，导致开发效率较低。

发明内容

本公开提供了在线推理服务系统、提供在线推理服务的方法及装置，以至少解决相关技术中的技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提出一种在线推理服务系统，包括：

模型管理平台，用于获取并保存目标模型的目标模型文件和目标模型信息，所述目标模型文件包括训练所述目标模型得到的模型数据，所述目标模型信息包括对应于所述目标模型的模型相关信息；

在线推理引擎，用于确定匹配于所述目标模型的目标推理框架，并根据从所述模型管理平台获取的所述目标模型文件和目标模型信息配置所述目标推理框架，以用于提供在线推理服务。

可选的，所述目标模型信息包括模型基础信息和模型结构信息，所述模型管理平台还用于：

在获取所述目标模型文件时，关联获取所述模型基础信息；

在获取到所述目标模型文件后，解析所述目标模型文件以提取所述模型结构信息。

可选的，所述模型基础信息包括下述至少之一：

所述目标模型的模型类别、模型标签、变更时间、模型配置参数、存储状态、模型训练任务、所述目标模型文件的文件格式；

所述模型结构信息包括：所述目标模型的张量信息。

可选的，所述模型管理平台还用于：

在管理有对应于所述目标模型的基础模型的情况下，将所述目标模型的版本号和所述基础模型的版本号关联保存，其中，所述目标模型被基于所述基础模型训练得到。

可选的，所述模型管理平台包括仓库集群，所述模型管理平台还用于：

将所述目标模型文件和目标模型信息关联保存在构成所述仓库集群的多个分布式仓库中。

可选的，所述模型管理平台还包括：

集群管理组件，用于在接收到针对所述仓库集群保存的任一模型的模型获取请求后，将所述模型获取请求下发至所述任一模型的模型文件所在的分布式仓库，并将该分布式仓库返回的所述模型文件提供至所述模型获取请求的发起方。

可选的，所述模型管理平台还用于：

在获取所述目标模型文件和目标模型信息后，通过P2P工具或消息队列向所述在线推理引擎推送所述目标模型文件和目标模型信息。

可选的，所述模型管理平台通过预设的超文本传输协议HTTP接口连接至所述在线推理引擎，所述模型管理平台还用于：