[发明专利]在线推理服务系统、提供在线推理服务的方法及装置

权利要求书

1.一种在线推理服务系统，其特征在于，包括：

模型管理平台，用于获取并保存目标模型的目标模型文件和目标模型信息，所述目标模型文件包括训练所述目标模型得到的模型数据，所述目标模型信息包括对应于所述目标模型的模型相关信息；

在线推理引擎，用于确定匹配于所述目标模型的目标推理框架，并根据从所述模型管理平台获取的所述目标模型文件和目标模型信息配置所述目标推理框架，以用于提供在线推理服务。

2.根据权利要求1所述的系统，其特征在于，所述目标模型信息包括模型基础信息和模型结构信息，所述模型管理平台还用于：

在获取所述目标模型文件时，关联获取所述模型基础信息；

在获取到所述目标模型文件后，解析所述目标模型文件以提取所述模型结构信息。

3.根据权利要求2所述的系统，其特征在于，

所述模型基础信息包括下述至少之一：

所述目标模型的模型类别、模型标签、变更时间、模型配置参数、存储状态、模型训练任务、所述目标模型文件的文件格式；

所述模型结构信息包括：所述目标模型的张量信息。

4.根据权利要求1所述的系统，其特征在于，所述模型管理平台还用于：

在管理有对应于所述目标模型的基础模型的情况下，将所述目标模型的版本号和所述基础模型的版本号关联保存，其中，所述目标模型被基于所述基础模型训练得到。

5.根据权利要求1所述的系统，其特征在于，所述模型管理平台包括仓库集群，所述模型管理平台还用于：

将所述目标模型文件和目标模型信息关联保存在构成所述仓库集群的多个分布式仓库中。

6.根据权利要求5所述的系统，其特征在于，所述模型管理平台还包括：

集群管理组件，用于在接收到针对所述仓库集群保存的任一模型的模型获取请求后，将所述模型获取请求下发至所述任一模型的模型文件所在的分布式仓库，并将该分布式仓库返回的所述模型文件提供至所述模型获取请求的发起方。

7.一种提供在线推理服务的方法，其特征在于，包括：

从用于获取并保存在线推理模型的模型文件和模型信息的模型管理平台获取目标模型对应的目标模型文件和目标模型信息，所述目标模型文件包括训练所述目标模型得到的模型数据，所述目标模型信息包括对应于所述目标模型的模型相关信息；

确定匹配于所述目标模型的目标推理框架；

根据所述目标模型文件和目标模型信息配置所述目标推理框架，并利用配置后的所述目标推理框架提供在线推理服务。

8.一种提供在线推理服务的装置，其特征在于，包括：

获取模块，被配置为从用于获取并保存在线推理模型的模型文件和模型信息的模型管理平台获取目标模型对应的目标模型文件和目标模型信息，所述目标模型文件包括训练所述目标模型得到的模型数据，所述目标模型信息包括对应于所述目标模型的模型相关信息；

确定模块，被配置为确定匹配于所述目标模型的目标推理框架；

配置模块，被配置为根据所述目标模型文件和目标模型信息配置所述目标推理框架，并利用配置后的所述目标推理框架提供在线推理服务。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求7所述的提供在线推理服务的方法。

10.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求7所述的提供在线推理服务的方法。