[发明专利]神经网络模型的处理方法、推理方法及其装置和电子设备

说明书

本申请实施例提供了一种神经网络模型的处理方法、推理方法及其装置和电子设备，能够提高对神经网络模型的处理性能。该神经网络模型的处理方法，包括：获取神经网络模型的图模型，该图模型包括多个节点，该多个节点中每个节点包括一个运算符；根据该多个节点的特性，将该多个节点划分为至少两类；根据划分结果对该多个节点进行合并，以形成至少两类子模型；对该至少两类子模型进行编译，得到至少两类可执行子程序，该至少两类可执行子程序用于运行在至少两类处理器上。采用本申请实施例的方法，通过多种类型的处理器进行神经网络处理，能够充分利用多种处理器的特性，提高对于神经网络整体的处理性能。

技术领域

本申请涉及计算机技术领域，并且更为具体地，涉及一种神经网络模型的处理方法、推理方法及其装置和电子设备。

背景技术

近年来，深度学习(Deep Learning)已成为人工智能(Artificial Intelligence，AI)领域最热门的研究方向之一，在视觉、语音、自然语言等应用领域迅速发展，并赋能于各个行业。

目前，绝大多数从事深度学习研究与应用的研究者或者企业，都采用图形处理器(Graphics Processing Unit，GPU)进行神经网络模型的训练和推理，然而，随着神经网络模型的不断发展，GPU在性能和功耗上越来越无法满足实际需求，因此，学术界和工业界开始大力开展神经网络专用处理器，例如神经网络处理器(Neural network ProcessingUnit，NPU)或者张量处理器(Tensor Processing Unit，TPU)的研究，以期提高处理器对神经网络模型的处理性能，然而，并不是神经网络模型中所有的运算和数据都适用于通过神经网络专用处理器进行处理，在一些情况下，通过神经网络专用处理器运行神经网络模型，无法使得处理器对神经网络的处理性能达到最优。

因此，如何提高处理器对神经网络模型的处理性能，是一项亟待解决的技术问题。

发明内容

本申请实施例提供了一种神经网络模型的处理方法、推理方法及其装置和电子设备，能够提高处理器对神经网络模型的处理性能。

第一方面，提供一种神经网络模型的处理方法，包括：获取神经网络模型的图模型，该图模型包括多个节点，该多个节点中每个节点包括一个运算符；根据该多个节点的特性，将该多个节点划分为至少两类；根据划分结果对该多个节点进行合并，以形成至少两类子模型；对该至少两类子模型进行编译，得到至少两类可执行子程序，该至少两类可执行子程序用于运行在至少两类处理器上。

在本申请的方案中，根据神经网络模型的图模型中节点的特性，将图模型进行拆分成至少两类子模型，并分别对该至少两类子模型进行编译后，该至少两类子模型可以分别运行于至少两种类型的处理器中。相比于单一类型处理器进行神经网络处理，采用本申请的方法，通过多种类型的处理器进行神经网络处理，能够充分利用多种处理器中的特性，综合提高多种处理器对于神经网络整体的处理性能。

在一种可能的实施方式中，该根据该多个节点的特性，将该多个节点划分为至少两类，包括：根据该多个节点的特性，将该多个节点划分为两类，其中一类为适合运行在神经网络专用处理器上的节点，另一类为不适合运行在神经网络专用处理器上的节点。

通过本实施方式的方案，将神经网络模型的图模型的节点划分为适合运行在神经网络专用处理器上的节点，以及不适合运行在神经网络专用处理器上的节点，充分利用神经网络专用处理器的特性，仅在神经网络专用处理器上运行神经网络模型中的部分运算，而将不适合运行在神经网络专用处理器上的运算设置在其他处理器上，提高神经网络专用处理器对于神经网络模型的处理能力，进而综合提高多种处理器对于神经网络模型的处理能力。