[发明专利]模型部署方法、服务器和计算机可读存储介质

权利要求书

1.一种模型部署方法，其特征在于，所述模型部署方法应用于服务器上，所述模型部署方法包括：

接收所需任务的数据集，根据所述数据集进行模型训练，得到训练后的神经网络模型；

在所述服务器上部署tensorflow serving服务框架；

基于所述tensorflow serving服务框架，将所述训练后的神经网络模型部署在所述服务器上；

响应参数设定指令，对所述tensorflow serving服务框架进行参数设定；

响应并发服务请求，基于参数设定后的所述tensorflow serving服务框架调用所述训练后的神经网络模型。

2.根据权利要求1所述的模型部署方法，其特征在于，所述接收所需任务的数据集，根据所述数据集进行模型训练，得到训练后的神经网络模型的步骤之后，在所述服务器上部署tensorflow serving服务框架的步骤之前，还包括：

确定所述训练后的神经网络模型的格式与所述tensorflow serving服务框架限定的格式不一致，对所述训练后的神经网络模型进行格式转换。

3.根据权利要求2所述的模型部署方法，其特征在于，在所述接收所需任务的数据集，根据所述数据集进行模型训练，得到训练后的神经网络模型的步骤，还包括：

记录所述训练后的神经网络模型的输入张量名称和输出张量名称，

在对所述训练后的神经网络模型进行格式转换的步骤之后，将格式转换后的输入和输出与所述训练后的神经网络模型的输入张量名称和输出张量名称进行对应。

4.根据权利要求1至3中任一项所述的模型部署方法，其特征在于，所述响应参数设定指令，对所述tensorflow serving服务框架进行参数设定的步骤，具体包括：

接收所述并发服务请求的配置信息，所述训练后的神经网络模型的模型信息以及所述服务器的硬件信息；

根据所述并发服务请求的配置信息，所述训练后的神经网络模型的模型信息以及所述服务器的硬件信息对所述tensorflow serving服务框架进行参数设定。

5.根据权利要求4所述的模型部署方法，其特征在于，所述并发服务请求的配置信息包括：并发服务请求的数量；

所述训练后的神经网络模型的模型信息包括：模型的存储规格；

所述服务器的硬件信息包括：图形处理器的数量和所述图形处理器显存规格。

6.根据权利要求4所述的模型部署方法，其特征在于，还包括：

部署Flask；

根据所述Flask对所述并发服务请求的进程数进行设定。

7.根据权利要求6所述的模型部署方法，其特征在于，所述服务器为Gunicorn服务器；和/或

服务器还部署有Nginx，

其中，所述Nginx向发出所述并发服务请求的客户端提供服务。

8.根据权利要求5所述的模型部署方法，其特征在于，还包括：

响应调用测试指令，向目标终端发送测试结果。

9.一种服务器，其特征在于，包括：

存储器，其上存储有计算机程序；

控制器，所述控制器执行所述计算机程序实现如权利要求1至8中任一项所述的模型部署方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时，实现如权利要求1至8中任一项所述的模型部署方法的步骤。