[发明专利]模型部署方法、装置、设备及存储介质

说明书

本申请实施例公开了一种模型部署方法、装置、设备及存储介质，应用于数字医疗领域，包括：获取待部署模型以及上述待部署模型的输入/输出描述文件。根据上述输入/输出描述文件确定输入数据，并对上述待部署模型进行输出校验。若上述待部署模型的输出校验通过，则从多个运行环境中确定出推理服务资源，并将上述推理服务资源分配给上述待部署模型。确定上述待部署模型基于上述推理服务资源执行推理服务的推理参数值。若上述推理参数值大于或者等于预设推理参数阈值，则根据上述推理服务资源生成待部署模型的资源配置文件和推理服务接口以完成待部署模型的部署。采用本申请实施例，可提高待部署模型的部署效率和兼容性。

技术领域

本申请涉及人工智能领域，尤其涉及一种模型部署方法、装置、设备及存储介质。

背景技术

目前，在人工智能领域的模型生成通常分为模型训练和模型推理两个环节。图形处理器(Graphics Processing Unit，GPU)因其强大的数据处理功能，被广泛的应用在模型训练和模型推理中，人工智能模型通常基于几个开源框架进行开发，但不同的开源框架之间以及同一个开源框架的不同版本之间，在硬件层面可能无法兼容，即同一个模型在某一个环境下可以运行但是在其他环境上可能无法运行。现有技术通常采用docker技术制作一个训练模型虚拟环境，可以使模型在不同的软件中兼容运行，但使用docker技术需要交付非常庞大而完整的模型镜像文件，使用docker技术也没有解决模型在改变硬件设备运行环境后无法运行的问题。

发明内容

本申请实施例提供一种模型部署方法、装置、设备及存储介质，可基于待部署模型分配推理服务资源，提高待部署模型的兼容性。

第一方面，本申请实施例供了一种模型部署方法，该方法包括：

获取待部署模型以及上述待部署模型的输入/输出描述文件；

根据上述输入/输出描述文件确定输入数据，并基于上述输入/输出描述文件和上述输入数据对上述待部署模型进行输出校验；

若上述待部署模型的输出校验通过，则从多个运行环境中确定出推理服务资源，并将上述推理服务资源分配给上述待部署模型；

确定上述待部署模型基于上述推理服务资源执行推理服务的推理参数值；

若上述推理参数值大于或者等于预设推理参数阈值，则根据上述推理服务资源生成上述待部署模型的资源配置文件和推理服务接口以完成上述待部署模型的部署。

在本申请实施例中，根据待部署模型的输入/输出描述文件确定输入数据，进而基于输入/输出描述文件和输入数据对待部署模型进行输出校验。若待部署模型的输出校验通过，则从多个运行环境中确定出推理服务资源，并将推理服务资源分配给上述待部署模型。确定上述待部署模型基于推理服务资源执行推理服务的推理参数值，若推理参数值大于或者等于预设推理参数阈值，则根据上述推理服务资源生成上述待部署模型的资源配置文件和推理服务接口以完成上述待部署模型的部署。基于输入/输出描述文件和输入数据对待部署模型进行输出校验可以对待部署模型本身的可行性做出判断，确保待部署模型本身可以正确运行。从多个运行环境中确定出推理服务资源，并将推理服务资源分配给上述待部署模型可克服待部署模型在进行推理服务时所存在的运行环境的限制，进而提高待部署模型的部署效率和兼容性。

结合第一方面，在一种可能的实施方式中，上述根据上述输入/输出描述文件确定输入数据包括：

根据上述输入/输出描述文件确定输入节点以及上述输入节点的输入数据格式；

按照上述输入数据格式生成上述输入节点的输入数据。

结合第一方面，在一种可能的实施方式中，上述基于上述输入/输出描述文件和上述输入数据对上述待部署模型进行输出校验包括：

通过上述输入节点将上述输入数据输入上述待部署模型；