[发明专利]神经网络模型部署方法及装置、电子设备和存储介质

说明书

本公开涉及一种神经网络模型部署方法及装置、电子设备和存储介质，所述方法包括：加载神经网络模型；为所述神经网络模型配置初始化信息，所述初始化信息包括为神经网络模型的运行和数据存储分配的资源；基于所述神经网络模型的网络结构信息以及所述初始化信息，将所述神经网络模型转换为预设编程语言形式。本公开实施例可实现应用平台的扩展能力，提高神经网络模型的适用性。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种神经网络模型部署方法及装置、电子设备和存储介质。

背景技术

深度学习等神经网络在具体应用时，需要各个方面的工程技术协作。模型的部署方案关系着模型是如何被程序所使用的，它在整个神经网络学习应用场景中起着十分关键的作用。

目前，神经网络的训练与部署面对的环境是不同的，神经网络的部署要求更加高效的性能。

发明内容

本公开提出了一种神经网络模型部署的技术方案。

根据本公开的一方面，提供了一种神经网络模型部署方法，包括：

加载神经网络模型；

为所述神经网络模型配置初始化信息，所述初始化信息包括为神经网络模型的运行和数据存储分配的资源；

基于所述神经网络模型的网络结构信息以及所述初始化信息，将所述神经网络模型转换为预设编程语言形式。

在一些可能的实施方式中，所述基于所述神经网络模型的网络结构信息以及所述初始化信息，将所述神经网络模型转换为预设编程语言形式，包括：

确定所述神经网络模型内的网络层匹配的基础算子，所述基础算子由预设编程语言表示；

基于所述神经网络模型的网络结构信息、所述初始化信息和所述基础算子，将所述神经网络模型转换为所述预设编程语言的形式。

在一些可能的实施方式中，所述确定所述神经网络模型内的网络层匹配的基础算子，包括：

基于所述神经网络模型内的所述网络层的类型，确定与所述类型对应的至少一个第一基础算子；

从所述至少一个第一基础算子中选择出符合预设要求的第一基础算子，并将选择出的所述第一基础算子确定为与所述网络层匹配的所述基础算子。

在一些可能的实施方式中，所述从所述至少一个第一基础算子中选择出符合预设要求的第一基础算子，包括以下方式中的至少一种：

根据所述神经网络模型的所述网络层的参数，从所述第一基础算子中选择出符合所述预设要求的第一基础算子；

运行所述神经网络模型，基于所述至少一个第一基础算子的运行参数选择出符合所述预设要求的第一基础算子。

在一些可能的实施方式中，所述预设要求包括：运行时间最短和/或占用内存最小。

在一些可能的实施方式中，所述基于所述神经网络模型的网络结构信息、所述初始化信息和所述基础算子，将所述神经网络模型转换为所述预设编程语言的形式，包括：

利用所述初始化信息中包括的资源，运行所述神经网络模型；

确定运行所述神经网络模型的过程中的第一类数据以及第二类数据，所述第一类数据包括所述神经网络模型中各网络层的结构以及初始权重，所述第二类数据包括各网络层经过优化后的权重；

将所述第一类数据配置为全局只读数据，以及构建表示所述第二类数据的第一结构体，所述第一结构体包括所述第二类数据与所述基础算子对应的输入指针和输出指针；

编译形成由所述第一结构体作为参数的推理函数，并将所述基础算子的调用方法写入所述推理函数；