[发明专利]一种推理服务部署方法、装置、设备及存储介质

权利要求书

1.一种推理服务部署方法，其特征在于，包括：

接收针对目标模型的推理服务部署指令；

确定所述目标模型所属的目标框架；

调用所述目标框架对应的服务创建接口创建所述目标模型的目标推理服务；

确定所述目标推理服务所需的硬件资源；

基于所述硬件资源，部署所述目标推理服务；

其中，所述目标框架为TensorFlow框架、TensorRT框架、SKLearn框架、PyTorch框架、自定义框架中的一种。

2.根据权利要求1所述的方法，其特征在于，所述调用所述目标框架对应的服务创建接口创建所述目标模型的目标推理服务，包括：

如果所述目标框架为TensorFlow框架或TensorRT框架，则调用预先集成的TensorFlow框架和TensorRT框架的服务模块的服务创建接口，创建所述目标模型的目标推理服务；

如果所述目标框架为SKLearn框架或PyTorch框架，则调用预先创建的http服务接口创建所述目标模型的目标推理服务；

如果所述目标框架为自定义框架，则将所述目标模型已有推理服务编译成容器镜像，创建所述目标模型的目标推理服务。

3.根据权利要求1所述的方法，其特征在于，在所述调用所述目标框架对应的服务创建接口创建所述目标模型的目标推理服务之后，还包括：

接收对所述目标推理服务的查询请求；

根据所述查询请求，输出所述目标推理服务的状态信息。

4.根据权利要求1所述的方法，其特征在于，在所述调用所述目标框架对应的服务创建接口创建所述目标模型的目标推理服务之后、所述基于所述硬件资源，部署所述目标推理服务之前，还包括：

调用所述目标推理服务推理所用的链接，对所述目标推理服务进行测试；

根据测试结果，确定是否执行所述基于所述硬件资源，部署所述目标推理服务的步骤。

5.根据权利要求1所述的方法，其特征在于，所述基于所述硬件资源，部署所述目标推理服务，包括：

基于所述硬件资源，调用滚动发布接口，发布所述目标推理服务。

6.根据所述权利要求5所述的方法，其特征在于，在所述发布所述目标推理服务之后，还包括：

根据接收到的流量调节指令，调节所述目标推理服务同时在线的两个版本的流量分配，进行对比测试。

7.根据权利要求1至6之中任一项所述的方法，其特征在于，在所述调用所述目标框架对应的服务创建接口创建所述目标模型的目标推理服务之后，还包括：

根据接收到的删除指令，删除所述目标推理服务。

8.一种推理服务部署装置，其特征在于，包括：

部署指令接收模块，用于接收针对目标模型的推理服务部署指令；

目标框架确定模块，用于确定所述目标模型所属的目标框架；

推理服务创建模块，用于调用所述目标框架对应的服务创建接口创建所述目标模型的目标推理服务；

硬件资源确定模块，用于确定所述目标推理服务所需的硬件资源；

推理服务部署模块，用于基于所述硬件资源，部署所述目标推理服务；

其中，所述目标框架为TensorFlow框架、TensorRT框架、SKLearn框架、PyTorch框架、自定义框架中的一种。

9.一种推理服务部署设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述推理服务部署方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述推理服务部署方法的步骤。