[发明专利]神经网络模型的量化方法、可读介质和电子设备

权利要求书

1.一种神经网络模型的量化方法，应用于电子设备，其特征在于，包括：

获取待量化神经网络模型的各计算节点被划分后的第一计算节点集和第二计算节点集，其中，所述第一计算节点集中的计算节点的运行顺序在所述第二计算节点集中的计算节点之前；

对所述第一计算节点集中的计算节点进行第一精度的量化，对所述第二计算节点集中的计算节点进行第二精度量化，生成第一目标神经网络模型，其中，第二精度高于第一精度；

根据目标电子设备的硬件和/或软件参数运行所述第一目标神经网络模型，得到运行结果；

在确定所述运行结果不满足对应所述目标电子设备的部署要求的情况下，调整所述第一计算节点集和所述第二计算节点集所包括的计算节点的数量；

在确定所述运行结果满足对应所述目标电子设备的部署要求的情况下，将所述第一目标神经网络模型作为所述待量化神经网络模型的量化结果。

2.根据权利要求1所述的方法，其特征在于，所述目标电子设备的部署要求包括第一部署要求，所述第一部署要求包括运行精度要求和/或运行速度要求。

3.根据权利要求2所述的方法，其特征在于，所述确定所述运行结果不满足对应所述目标电子设备的部署要求的情况下，调整所述第一计算节点集和所述第二计算节点集所包括的计算节点的数量，包括：

在所述运行结果满足不满足所述第一部署要求的情况下，减少所述第一计算节点集所包括的计算节点的数量、增加所述第二计算节点集所包括的计算节点的数量。

4.根据权利要求3所述的方法，其特征在于，所述运行结果包括所述第一目标神经网络模型的输出张量；并且

在所述输出张量和参考输出张量的相似度大于相似度阈值的情况下，确定所述第一目标神经网络模型的运行结果满足所述精度要求。

5.根据权利要求4所述的方法，其特征在于，所述输出张量和参考输出张量的相似度由所述输出张量和所述参考输出张量的余弦相似度确定。

6.根据权利要求5所述的方法，其特征在于，所述参考输出张量由以下方式确定：

在所述输出张量是基于带标签的测试集，根据目标电子设备的硬件和/或软件参数运行所述第一目标神经网络模型获得的情况下，以所述带标签的测试集中的标签数据作为所述参考输出张量；

在所述输出张量是基于不带标签的测试集，根据目标电子设备的硬件和/或软件参数运行所述第一目标神经网络模型获得的情况下，通过第三精度对所述待量化模型的各所述计算节进行量化后，基于所述不带标签的测试集中的输入数据运行基于第三精度量化后的神经网络模型得到，其中，所述第三精度高于所述第一精度和所述第二精度。

7.根据权利要求2至6中任一项所述的方法，其特征在于，所述部署要求还包括第二部署要求；所述第二部署要求包括在满足第一部署要求的情况下，所述第二计算节点集所包括的计算节点的数量最少。

8.根据权利要求7所述的方法，其特征在于，所述确定所述运行结果不满足对应所述目标电子设备的部署要求的情况下，调整所述第一计算节点集和所述第二计算节点集所包括的计算节点的数量，还包括：

在所述运行结果满足所述第一部署要求，但不满足所述第二部署要求的情况下，增加所述第一计算节点集包括的计算节点的数量，减少所述第二计算节点集所包括的计算节点的数量。

9.根据权利要求8所述的方法，其特征在于，还包括：

在增加所述第一计算节点集包括的计算节点的数量，减少所述第二计算节点集所包括的计算节点的数量后，得到的神经网络模型的运行结果不满足所述第一部署要求的情况下，将所述第一计算节点集和所述第二计算节点集所包括的计算节点的数量恢复至调整前的数量。

10.根据权利要求9所述的方法，其特征在于，还包括：

基于所述待量化神经网络模型各计算节点的运行顺序，将所述待量化神经网络模型的各计算节点划分为第一计算节点集和第二计算节点集。