[发明专利]模型部署方法、装置、设备及存储介质

权利要求书

1.一种模型部署方法，其特征在于，所述方法包括：

获取待部署模型以及所述待部署模型的输入/输出描述文件；

根据所述输入/输出描述文件确定输入节点以及所述输入节点的输入数据格式，按照所述输入数据格式生成所述输入节点的输入数据，通过所述输入节点将所述输入数据输入所述待部署模型；

根据所述输入/输出描述文件确定输出节点以及所述输出节点的输出数据格式，并在所述输出节点获取所述待部署模型的输出数据；

若所述输出数据的格式与所述输出数据格式相同，则从多个运行环境中确定出推理服务资源，并将所述推理服务资源分配给所述待部署模型；

确定所述待部署模型基于所述推理服务资源执行推理服务的推理参数值；

若所述推理参数值大于或者等于预设推理参数阈值，则根据所述推理服务资源生成所述待部署模型的资源配置文件和推理服务接口以完成所述待部署模型的部署。

2.根据权利要求1所述的方法，其特征在于，所述从多个运行环境中确定出推理服务资源，并将所述推理服务资源分配给所述待部署模型，包括：

获取所述待部署模型的文件格式，将所述待部署模型的文件格式转换为目标限定格式；

分析所述格式转换后的待部署模型所需要的基础推理服务资源，根据所述基础推理服务资源从多个运行环境中确定出推理服务资源，并将所述推理服务资源分配给所述格式转换后的待部署模型。

3.根据权利要求2所述的方法，其特征在于，所述方法包括：

若所述推理参数值小于所述预设推理参数阈值，则执行从多个运行环境中确定推理服务资源的步骤，以重新确定出用于分配给所述待部署模型的推理服务资源；

其中，所述多个运行环境，包括改变GPU数量、GPU型号以及GPU运行策略中一种或几种而形成的运行环境。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述待部署模型基于目标训练框架训练得到，所述目标训练框架为Caffe，Caffeine2，TensorFlow，MxNet，CNTK或者Pytorch中的一种。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述待部署模型的训练样本数据包括疾病诊疗信息、个人保健信息以及医疗设施信息中的至少一种。

6.一种模型部署装置，其特征在于，所述装置包括：

模型获取模块，用于获取待部署模型以及所述待部署模型的输入/输出描述文件；

输出校验模块，用于根据所述输入/输出描述文件确定输入节点以及所述输入节点的输入数据格式，按照所述输入数据格式生成所述输入节点的输入数据，通过所述输入节点将所述输入数据输入所述待部署模型；根据所述输入/输出描述文件确定输出节点以及所述输出节点的输出数据格式，并在所述输出节点获取所述待部署模型的输出数据；

资源分配模块，用于在所述输出数据的格式与所述输出数据格式相同时，从多个运行环境中确定出推理服务资源，并将所述推理服务资源分配给所述待部署模型；

性能校验模块，用于确定所述待部署模型基于所述推理服务资源执行推理服务的推理参数值；

环境存储模块，用于在所述推理参数值大于或者等于预设推理参数阈值时，根据所述推理服务资源生成所述待部署模型的资源配置文件和推理服务接口以完成所述待部署模型的部署。

7.一种终端设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-5任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-5任一项所述的方法。