[发明专利]一种推理服务部署方法、装置、设备及存储介质

说明书

本申请公开了一种推理服务部署方法，该方法包括以下步骤：接收针对目标模型的推理服务部署指令；确定目标模型所属的目标框架；调用目标框架对应的服务创建接口创建目标模型的目标推理服务；确定目标推理服务所需的硬件资源；基于硬件资源，部署目标推理服务；其中，目标框架为TensorFlow框架、TensorRT框架、SKLearn框架、PyTorch框架、自定义框架中的一种。应用本申请实施例所提供的技术方案，支持多框架下模型的推理服务部署，提高了部署效率。本申请还公开了一种推理服务部署装置、设备及存储介质，具有相应技术效果。

技术领域

本申请涉及计算机应用技术领域，特别是涉及一种推理服务部署方法、装置、设备及存储介质。

背景技术

推理服务部署，是指将训练得到的模型，进行线上部署，以供用户使用。

模型框架较多，如TensorFlow、TensorRT、SKLearn、PyTorch等框架，不同框架导出的模型不具备较好的兼容性。目前，会针对不同框架的模型设计不同的推理服务部署方法，使用不同的方式进行部署。

这样使得推理服务部署过程较为复杂，部署效率较低。

发明内容

本申请的目的是提供一种推理服务部署方法、装置、设备及存储介质，以简化推理服务部署过程，提高部署效率。

为解决上述技术问题，本申请提供如下技术方案：

一种推理服务部署方法，包括：

接收针对目标模型的推理服务部署指令；

确定所述目标模型所属的目标框架；

调用所述目标框架对应的服务创建接口创建所述目标模型的目标推理服务；

确定所述目标推理服务所需的硬件资源；

基于所述硬件资源，部署所述目标推理服务；

其中，所述目标框架为TensorFlow框架、TensorRT框架、SKLearn框架、PyTorch框架、自定义框架中的一种。

在本申请的一种具体实施方式中，所述调用所述目标框架对应的服务创建接口创建所述目标模型的目标推理服务，包括：

如果所述目标框架为TensorFlow框架或TensorRT框架，则调用预先集成的TensorFlow框架和TensorRT框架的服务模块的服务创建接口，创建所述目标模型的目标推理服务；

如果所述目标框架为SKLearn框架或PyTorch框架，则调用预先创建的http服务接口创建所述目标模型的目标推理服务；

如果所述目标框架为自定义框架，则将所述目标模型已有推理服务编译成容器镜像，创建所述目标模型的目标推理服务。

在本申请的一种具体实施方式中，在所述调用所述目标框架对应的服务创建接口创建所述目标模型的目标推理服务之后，还包括：

接收对所述目标推理服务的查询请求；

根据所述查询请求，输出所述目标推理服务的状态信息。

在本申请的一种具体实施方式中，在所述调用所述目标框架对应的服务创建接口创建所述目标模型的目标推理服务之后、所述基于所述硬件资源，部署所述目标推理服务之前，还包括：

调用所述目标推理服务推理所用的链接，对所述目标推理服务进行测试；

根据测试结果，确定是否执行所述基于所述硬件资源，部署所述目标推理服务的步骤。

在本申请的一种具体实施方式中，所述基于所述硬件资源，部署所述目标推理服务，包括：