[发明专利]神经网络模型的量化方法、可读介质和电子设备

说明书

本申请涉及人工智能领域，提供了一种神经网络模型的量化方法、介质和电子设备。该方法通过对待量化神经网络模型中各计算节点中运行顺序在前一部分的计算节点进行较低精度的量化，对运行顺序在后一部分的计算节点进行较高精度的量化，通过调整运行顺序在后一部分的计算节点的数量来得到不同的量化方案，再将不同的量化方案的运行结果和部署要求进行比，以确定出满足部署要求的情况下，进行较高精度的量化的计算节点的数量最少的量化方案。如此，电子设备无需通过大量的训练数据进行优化训练，也无需逐个调整待量化神经网络模型的计算节点的量化精度，即可快速得到满足部署条件的量化方案，提高了神经网络模型量化的速度。

技术领域

本申请涉及人工智能领域，特别涉及一种神经网络模型的量化方法、可读介质和电子设备。

背景技术

随着人工智能(artificial intelligence，AI)的迅速发展，神经网络模型在人工智能领域的应用越来越广泛。为使得神经网络模型能够在不同的电子设备上运行时，都能兼顾精度和运行速度，可以通过对神经网络模型中的各个计算节点采用不同量化精度，来平衡神经网络模型的运行精度和运行速度。例如，在将神经网络模型部署到目标电子设备前，根据目标电子设备的硬件参数，逐个调整各计算节点的量化精度，并将调整量化精度后的神经网络模型基于大量的训练数据进行优化训练，以得到使目标电子设备在运行该神经网络模型时的运算速度、运算精度等都满足要求的情况下，该神经网络模型各计算节点的量化精度。

但是，基于大量的训练数据来确定出使神经网络模型在目标电子设备上的运行精度满足要求时，神经网络模型的各计算节点的量化精度耗时较长，占用硬件资源较多，并且实际工程应用中通常不容易获取到大量用于训练神经网络模型的训练数据。

发明内容

有鉴于此，本申请实施例提供了一种神经网络模型的量化方法、可读介质和电子设备。其中，本申请的神经网络模型的量化方法通过将待量化神经网络模型中各计算节点分为两部分，对运行顺序在后一部分的计算节点进行较高精度的量化，来得到满足部署要求的目标神经网络模型，提高了电子设备运行神经网络模型的速度。

第一方面，本申请实施例提供了一种神经网络模型的量化方法，应用于电子设备，该方法包括：获取待量化神经网络模型的各计算节点被划分后的第一计算节点集和第二计算节点集，其中，第一计算节点集中的计算节点的运行顺序在第二计算节点集中的计算节点之前；对第一计算节点集中的计算节点进行第一精度的量化，对第二计算节点集中的计算节点进行第二精度量化，生成第一目标神经网络模型，其中，第二精度高于第一精度；根据目标电子设备的硬件和/或软件参数运行第一目标神经网络模型，得到运行结果；在确定运行结果不满足对应目标电子设备的部署要求的情况下，调整第一计算节点集和第二计算节点集所包括的计算节点的数量；在确定运行结果满足对应目标电子设备的部署要求的情况下，将第一目标神经网络模型作为待量化神经网络模型的量化结果。

也即是说，在本申请实施例中，电子设备可以根据待量化神经网络模型中各计算节点的运行顺序将各计算节点分为两个部分，并对运行顺序在前一部分(第一计算节点集)的计算节点进行较低精度的量化，对运行顺序在后一部分(第二计算节点集)的计算节点进行较高精度的量化，通过调整高精度量化区间的大小来得到不同的量化方案，再基于目标电子设备的硬件/软件参数运行根据不同的量化方案量化的神经网络模型，并将运行结果和部署要求进行比，以确定出使量化后的神经网络模型在目标电子设备上运行时满足部署要求的量化方案，再根据该方案对待量化神经网络模型进行量化。

通过本申请实施例提供的方法，电子设备在对待部署到目标电子设备的待量化神经网络模型的量化过程中，无需通过大量的训练数据进行优化训练，也无需逐个调整待量化神经网络模型的计算节点的量化精度，即可快速得到满足部署条件的目标神经网络模型，提高了神经网络模型量化的速度。

在上述第一方面的一种可能实现中，上述目标电子设备的部署要求包括第一部署要求，第一部署要求包括运行精度要求和/或运行速度要求。