[发明专利]神经网络模型的处理方法、推理方法及其装置和电子设备

权利要求书

1.一种神经网络模型的处理方法，其特征在于，包括：

获取神经网络模型的图模型，所述图模型包括多个节点，所述多个节点中每个节点包括一个运算符；

根据所述多个节点的特性，将所述多个节点划分为至少两类；

根据划分结果对所述多个节点进行合并，以形成至少两类子模型；

对所述至少两类子模型进行编译，得到至少两类可执行子程序，所述至少两类可执行子程序用于运行在至少两类处理器上。

2.根据权利要求1所述的处理方法，其特征在于，所述根据所述多个节点的特性，将所述多个节点划分为至少两类，包括：

根据所述多个节点的特性，将所述多个节点划分为两类，其中一类为适合运行在神经网络专用处理器上的节点，另一类为不适合运行在神经网络专用处理器上的节点。

3.根据权利要求2所述的处理方法，其特征在于，所述根据划分结果对所述多个节点进行合并，以形成至少两类子模型，包括：

将所述多个节点中适合运行在神经网络专用处理器上的节点进行合并，以形成至少一个第一子模型；

将所述多个节点中不适合运行在神经网络专用处理器上的节点进行合并，以形成至少一个第二子模型；

将所述至少一个第一子模型和所述至少一个第二子模型进行划分形成两类子模型。

4.根据权利要求3所述的处理方法，其特征在于，所述将所述至少一个第一子模型和所述至少一个第二子模型进行划分形成两类子模型，包括：

将所述至少一个第一子模型作为所述两类子模型中的第一类子模型，将所述至少一个第二子模型作为所述两类子模型中的第二类子模型。

5.根据权利要求3所述的处理方法，其特征在于，所述将所述至少一个第一子模型和所述至少一个第二子模型进行划分形成两类子模型，包括：

计算所述至少一个第一子模型中每个第一子模型的计算量，将其中计算量最大的第一目标子模型划分为所述两类子模型中的第一类子模型，将所述至少一个第一子模型中除所述第一目标子模型外其它第一子模型，以及所述至少一个第二子模型划分为所述两类子模型中的第二类子模型。

6.根据权利要求3所述的处理方法，其特征在于，所述将所述至少一个第一子模型和所述至少一个第二子模型进行划分形成两类子模型，包括：

计算所述至少一个第一子模型中每个第一子模型的计算量，将其中计算量大于预设阈值的第一目标子模型划分为所述两类子模型中的第一类子模型，将所述至少一个第一子模型中除所述第一目标子模型外其它第一子模型，以及所述至少一个第二子模型划分为所述两类子模型中的第二类子模型。

7.根据权利要求3所述的处理方法，其特征在于，所述将所述至少一个第一子模型和所述至少一个第二子模型进行划分形成两类子模型，包括：

计算所述至少一个第一子模型中每个第一子模型的计算量，将其中计算量最大的第一目标子模型，以及计算量大于预设阈值的第二目标子模型划分为所述两类子模型中的第一类子模型，将所述至少一个第一子模型中除所述第一目标子模型和所述第二目标子模型外其它第一子模型，以及所述至少一个第二子模型划分为所述两类子模型中的第二类子模型。

8.根据权利要求5至7中任一项所述的处理方法，其特征在于，所述计算所述至少一个第一子模型中每个第一子模型的计算量，包括：

根据所述每个第一子模型中目标节点的数量，计算所述每个第一子模型的计算量，其中，所述目标节点中包括计算类型的运算符。

9.根据权利要求4至7中任一项所述的处理方法，其特征在于，所述对所述至少两类子模型进行编译，得到至少两类可执行子程序，包括：

对所述第一类子模型进行编译，形成第一类可执行子程序，所述第一类可执行子程序用于在神经网络专用处理器上运行；

对所述第二类子模型进行编译，形成第二类可执行子程序，所述第二类可执行子程序用于在非神经网络专用处理器上运行。