[发明专利]模型部署方法、服务器和计算机可读存储介质

说明书

本发明提供了一种模型部署方法、服务器和计算机可读存储介质，其中，模型部署方法包括：接收所需任务的数据集，根据数据集进行模型训练，得到训练后的神经网络模型；在服务器上部署tensorflow serving服务框架；基于tensorflow serving服务框架，将训练后的神经网络模型部署在服务器上；响应参数设定指令，对tensorflow serving服务框架进行参数设定；响应并发服务请求，基于参数设定后的所述tensorflow serving服务框架调用训练后的神经网络模型，由于tensorflow serving服务框架的队列机制使得GPU无需等待IO处理，因此利用率高，且tensorflow serving服务框架可自动合并请求成批处理，可进一步提升GPU利用率。

技术领域

本发明涉及服务器控制技术领域，具体而言，涉及一种模型部署方法、服务器和计算机可读存储介质。

背景技术

站房是整个工程监控系统的核心区域，大量的计算分析部署在这里，为防止闲杂人等随意进入及系统更新维护责任到人，保证站房系统安全及系统的有效管理，需要对监控站房的上百路甚至上千路摄像头进行实时行人检测。

相关技术方案中，在站房模型训练完之后，需要对其部署供前方服务器调用，常用的部署方案是将tensorflow(tensorflow ensorflow是一个基于数据流编程(dataflowprogramming)的符号数学系统，被广泛应用于各类机器学习(machine learning)算法的编程实现)训练好的ckpt格式的模型冻结转成pb格式的模型，然后利用flask框架进行直接部署，在此方案中，flask进程数与GPU(Graphics Processing Unit，图形处理器)数量绑定，IO(Input/Output，即输入/输出)期间的GPU利用率低，只能处理一定数量的并发请求且服务不够稳定。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的第一方面在于，提供了一种模型部署方法。

本发明的第二方面在于，提供了一种服务器。

本发明的第三方面在于，提供了一种计算机可读存储介质。

有鉴于此，本发明的第一方面，提供了一种模型部署方法，模型部署方法应用于服务器上，模型部署方法包括：接收所需任务的数据集，根据数据集进行模型训练，得到训练后的神经网络模型；在服务器上部署tensorflow serving服务框架；基于tensorflowserving服务框架，将训练后的神经网络模型部署在服务器上；响应参数设定指令，对tensorflow serving服务框架进行参数设定；响应并发服务请求，基于参数设定后的tensorflowserving服务框架调用训练后的神经网络模型。

本发明提出了一种模型部署方法，在根据所需任务的数据集进行训练，并得到训练后的神经网络模型后，将训练后的神经网络模型部署在服务器上，具体地，将模型部署在安装有tensorflow serving服务框架的服务器上，由于tensorflow serving的队列机制使得GPU无需等待IO处理，因此GPU利用率高，且tensorflow serving可自动合并请求成批处理，可进一步提升GPU利用率。

另外，本发明提供的上述技术方案中的模型部署方法还可以具有如下附加技术特征：

在上述技术方案中，在接收所需任务的数据集，根据数据集进行模型训练，得到训练后的神经网络模型的步骤之后，在服务器上部署tensorflowserving服务框架的步骤之前，还包括：确定训练后的神经网络模型的格式与tensorflow serving服务框架限定的格式不一致，对训练后的神经网络模型进行格式转换。