[发明专利]神经网络模型部署方法及装置、电子设备和存储介质

权利要求书

1.一种神经网络模型部署方法，其特征在于，包括：

加载神经网络模型；

为所述神经网络模型配置初始化信息，所述初始化信息包括为神经网络模型的运行和数据存储分配的资源；

基于所述神经网络模型的网络结构信息以及所述初始化信息，将所述神经网络模型转换为预设编程语言形式。

2.根据权利要求1所述的方法，其特征在于，所述基于所述神经网络模型的网络结构信息以及所述初始化信息，将所述神经网络模型转换为预设编程语言形式，包括：

确定所述神经网络模型内的网络层匹配的基础算子，所述基础算子由预设编程语言表示；

基于所述神经网络模型的网络结构信息、所述初始化信息和所述基础算子，将所述神经网络模型转换为所述预设编程语言的形式。

3.根据权利要求2所述的方法，其特征在于，所述确定所述神经网络模型内的网络层匹配的基础算子，包括：

基于所述神经网络模型内的所述网络层的类型，确定与所述类型对应的至少一个第一基础算子；

从所述至少一个第一基础算子中选择出符合预设要求的第一基础算子，并将选择出的所述第一基础算子确定为与所述网络层匹配的所述基础算子。

4.根据权利要求3所述的方法，其特征在于，所述从所述至少一个第一基础算子中选择出符合预设要求的第一基础算子，包括以下方式中的至少一种：

根据所述神经网络模型的所述网络层的参数，从所述第一基础算子中选择出符合所述预设要求的第一基础算子；

运行所述神经网络模型，基于所述至少一个第一基础算子的运行参数选择出符合所述预设要求的第一基础算子。

5.根据权利要求3或4所述的方法，其特征在于，所述预设要求包括：运行时间最短和/或占用内存最小。

6.根据权利要求2-5中任意一项所述的方法，其特征在于，所述基于所述神经网络模型的网络结构信息、所述初始化信息和所述基础算子，将所述神经网络模型转换为所述预设编程语言的形式，包括：

利用所述初始化信息中包括的资源，运行所述神经网络模型；

确定运行所述神经网络模型的过程中的第一类数据以及第二类数据，所述第一类数据包括所述神经网络模型中各网络层的结构以及初始权重，所述第二类数据包括各网络层经过优化后的权重；

将所述第一类数据配置为全局只读数据，以及构建表示所述第二类数据的第一结构体，所述第一结构体包括所述第二类数据与所述基础算子对应的输入指针和输出指针；

编译形成由所述第一结构体作为参数的推理函数，并将所述基础算子的调用方法写入所述推理函数；

生成所述推理函数的输入接口和输出接口。

7.根据权利要求1-6中任意一项所述的方法，其特征在于，所述方法还包括：

获取输入数据；

利用所述预设编程语言形式的所述神经网络模型对所述输入数据进行处理，得到预测结果。

8.根据权利要求1-7中任意一项所述的方法，其特征在于，所述神经网络模型包括特征提取神经网络模型、分类神经网络模型以及目标检测神经网络模型中的至少一种。

9.一种神经网络模型部署装置，其特征在于，包括：

加载模块，用于加载神经网络模型；

配置模块，用于为所述神经网络模型配置初始化信息，所述初始化信息包括为神经网络模型的运行和数据存储分配的资源；

转换模块，用于基于所述神经网络模型的网络结构信息以及所述初始化信息，将所述神经网络模型转换为预设编程语言形式。

10.根据权利要求9所述的装置，其特征在于，所述转换模块还用于确定所述神经网络模型内的网络层匹配的基础算子，所述基础算子由预设编程语言表示；以及

基于所述神经网络模型的网络结构信息、所述初始化信息和所述基础算子，将所述神经网络模型转换为所述预设编程语言的形式。