[发明专利]网络模型的转换方法、装置、系统、存储介质及电子装置

说明书

本发明实施例提供了一种网络模型的转换方法、装置、系统、存储介质及电子装置，其中，该方法包括：将在第一处理器中训练得到的训练网络模型的第一模型文件转换为预定格式的中间模型文件；确定与第二处理器对应的模型转换模块的第二模型文件，其中，第二处理器与第一处理器为不同类型的处理器；基于中间模型文件以及第二模型文件确定推理算子包；将推理算子包发送给包括第二处理器的第一设备，以指示第一设备基于推理算子包将训练网络模型转换为与第二处理器匹配的目标网络模型。通过本发明，解决了相关技术中存在的将网络模型在不同类型的处理器中转换成本高的问题，达到降低网络模型在不同类型的处理器中转换成本的效果。

技术领域

本发明实施例涉及通信领域，具体而言，涉及一种网络模型的转换方法、装置、系统、存储介质及电子装置。

背景技术

在相关技术中，通过GPU卡训练得到的深度学习模型，在进行推理端部署之前都需要进行一次模型的转换，需要根据不同的硬件平台进行模型的适配。在进行模型转换时，还需要推理端的硬件环境才可以完成最终的模型转换。比如：训练使用的GPU卡是NVIDIA A卡，推理端GPU卡是NVIDIA B卡，NVIDI A 为了加快推理的速度使用了TensorRT进行加速，因此，在推理端使用的模型都是通过TensorRT加速的模型，由于NVIDIA A卡与NVIDIA B卡两者内核不一样，因此，NVIDIA A卡训练出来的模型是无法在直接在NVIDIA B卡上面通过TensorRT加速使用的，必需在一台有NVIDIA B卡的环境上面进行量化和模型转换，例如，配置一台单独的有NVIDIAB卡的硬件服务器，得到NVIDIA B卡可以使用的TensorRT加速模型，这无形当中增加了用户成本。

由此可知，相关技术中存在将网络模型在不同类型的处理器中转换成本高的问题。

针对相关技术中存在点的上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种网络模型的转换方法、装置、系统、存储介质及电子装置，以至少解决相关技术中存在的将网络模型在不同类型的处理器中转换成本高的问题。

根据本发明的一个实施例，提供了一种网络模型的转换方法，包括：将在第一处理器中训练得到的训练网络模型的第一模型文件转换为预定格式的中间模型文件；确定与第二处理器对应的模型转换模块的第二模型文件，其中，所述第二处理器与所述第一处理器为不同类型的处理器；基于所述中间模型文件以及所述第二模型文件确定推理算子包；将所述推理算子包发送给包括所述第二处理器的第一设备，以指示所述第一设备基于所述推理算子包将所述训练网络模型转换为与所述第二处理器匹配的目标网络模型。

根据本发明的一个实施例，还提供了一种网络模型的转换方法，包括：向包括第一处理器的第二设备发送请求信息，其中，所述请求信息用于请求推理算子包，所述推理算子包为所述第一处理器基于中间模型文件以及与第一设备中包括的第二处理器对应的模型转换模块对应的第二模型文件确定的，所述中间模型文件为在第一处理器中训练得到的训练网络模型的第一模型文件转换成的预定格式的文件；基于所述推理算子包将所述训练网络模型转换为与所述第二处理器匹配的目标网络模型。

根据本发明的一个实施例，还提供了一种网络模型的转换方法，包括：第二设备将推理算子包发送给第一设备，其中，所述推理算子包为所述第二设备基于中间模型文件以及与所述第一设备对应的模型转换模块的第二模型文件确定的算子包，所述中间模型文件为在所述第二设备中训练得到的训练网络模型的第一模型文件转换成的预定格式的文件；所述第一设备接收所述推理算子包，并基于所述推理算子包将所述训练网络模型转换为与所述第一设备匹配的目标网络模型，其中，所述第一设备与所述第二设备中包括有不同类型的处理器。