[发明专利]一种神经网络模型处理方法和装置

说明书

本申请公开了一种神经网络模型处理方法和装置，该方法包括：获取待处理任务；将所述待处理任务发送给第一计算单元和第二计算单元进行处理，其中，所述第一计算单元上运行有第一神经网络模型，所述第一神经网络模型为基于浮点数据和浮点运算规则的模型；所述第二计算单元上运行有第二神经网络模型，所述第二神经网络模型为将所述第一神经网络模型转换为基于定点数据和定点运算规则后得到的模型。通过本申请解决了现有技术中通过神经网络模型进行数据处理时未充分利用计算单元的能力所导致的问题，进而能够充分利用各种计算单元的计算能力，提高神经网络模型的处理效率。

技术领域

本申请涉及到神经网络领域，具体而言，涉及一种神经网络模型处理方法和装置。

背景技术

随着神经网络技术的发展，神经网络被应用到了越来越多的领域，例如，神经网络可以应用在图片处理领域；又例如，神经网络还可以应用在视频领域，如直播、点播、会议室场景等。

神经网络背后使用到的是深度学习技术，深度学习技术需要消耗大量的计算资源。通常，会将神经网络模型配置在图形处理器(graphics processing unit，简称为GPU)上，这样能够充分利用GPU的计算能力，对计算效率的提升有所帮助。

GPU所在的计算设备上也会配置有其他的计算单元，例如，中央处理器(CentralProcessing Unit，简称为CPU)和/或神经网络处理器(Neural Processing Unit，简称为NPU)，在GPU进行计算的时候，CPU和/或NPU可能处于空闲状态，这导致了计算设备上的计算单元未被充分利用，在一定程度上也降低了计算效率。

发明内容

本申请实施例提供了一种神经网络模型处理方法和装置，以至少解决现有技术中通过神经网络模型进行数据处理时未充分利用计算单元的能力所导致的问题。

根据本申请的一个方面，提供了一种神经网络模型处理方法，包括：获取待处理任务；将所述待处理任务发送给第一计算单元和第二计算单元进行处理，其中，所述第一计算单元上运行有第一神经网络模型，所述第一神经网络模型为基于浮点数据和浮点运算规则的模型；所述第二计算单元上运行有第二神经网络模型，所述第二神经网络模型为将所述第一神经网络模型转换为基于定点数据和定点运算规则后得到的模型。

根据本申请的另一个方面，还提供了一种神经网络模型处理装置，包括：获取模块，用于获取待处理任务；发送模块，用于将所述待处理任务发送给第一计算单元和第二计算单元进行处理，其中，所述第一计算单元上运行有第一神经网络模型，所述第一神经网络模型为基于浮点数据和浮点运算规则的模型；所述第二计算单元上运行有第二神经网络模型，所述第二神经网络模型为将所述第一神经网络模型转换为基于定点数据和定点运算规则后得到的模型。

根据本申请的另一个方面，还提供了一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述的方法步骤。

根据本申请的另一个方面，还提供了一种可读存储介质，其上存储有计算机指令，其中，该计算机指令被处理器执行时实现上述的方法步骤。

在本申请实施例中，采用了获取待处理任务；将所述待处理任务发送给第一计算单元和第二计算单元进行处理，其中，所述第一计算单元上运行有第一神经网络模型，所述第一神经网络模型为基于浮点数据和浮点运算规则的模型；所述第二计算单元上运行有第二神经网络模型，所述第二神经网络模型为将所述第一神经网络模型转换为基于定点数据和定点运算规则后得到的模型。通过本申请解决了现有技术中通过神经网络模型进行数据处理时未充分利用计算单元的能力所导致的问题，进而能够充分利用各种计算单元的计算能力，提高神经网络模型的处理效率。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：