[发明专利]神经网络模型的训练方法、存储介质及电子设备

权利要求书

1.一种神经网络模型的训练方法，其特征在于，包括：

获取第一数据类型的第一输入数值，其中，所述第一输入数值被设置为待训练的神经网络模型中的目标操作的输入数值，所述第一数据类型的所述第一输入数值占的比特数为第一比特数；

对所述第一输入数值执行量化操作，得到第二数据类型的第二输入数值，其中，所述第二数据类型的所述第二输入数值占的比特数为第二比特数，所述第二比特数小于所述第一比特数；

对所述第二输入数值执行所述目标操作，得到所述第二数据类型的第一输出数值，所述第二数据类型的所述第一输出数值占的比特数为所述第二比特数；

对所述第一输出数值执行反量化操作，得到所述第一数据类型的第二输出数值，所述第一数据类型的所述第二输出数值占的比特数为所述第一比特数；

根据所述第二输出数值，对所述神经网络模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一输入数值执行量化操作，得到第二数据类型的第二输入数值，包括：

根据所述第二数据类型对应的最大取值和最小取值、以及所述第一输入数值的最大取值和最小取值，确定所述量化操作所使用的目标量化参数；

使用所述目标量化参数对所述第一输入数值执行量化操作，得到所述第二数据类型的所述第二输入数值。

3.根据权利要求2所述的方法，其特征在于，根据所述第二数据类型对应的最大取值和最小取值、以及所述第一输入数值的最大取值和最小取值，确定所述量化操作所使用的目标量化参数，包括：

在所述第二数据类型对应的最大取值的绝对值与最小取值的绝对值相同的情况下，根据所述第二数据类型对应的最大取值和最小取值、以及所述第一输入数值的最大取值和最小取值，确定所述量化操作所使用的第一量化参数，其中，所述目标量化参数包括所述第一量化参数；

在所述第二数据类型对应的最大取值的绝对值与最小取值的绝对值不同的情况下，根据所述第二数据类型对应的最大取值和最小取值、以及所述第一输入数值的最大取值和最小取值，确定所述量化操作所使用的第二量化参数，其中，所述目标量化参数包括所述第二量化参数，所述第一量化参数与所述第二量化参数不同。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括以下至少之一：

在所述目标操作包括所述神经网络模型中的卷积层上执行的卷积函数的情况下，将所述第二数据类型对应的最大取值的绝对值与最小取值的绝对值设置为相同；

在所述目标操作包括所述神经网络模型中的全连接层上执行的权重函数的情况下，将所述第二数据类型对应的最大取值的绝对值与最小取值的绝对值设置为相同；

在所述目标操作包括所述神经网络模型中的激活函数的情况下，将所述第二数据类型对应的最大取值的绝对值与最小取值的绝对值设置为不同。

5.根据权利要求2所述的方法，其特征在于，所述根据所述第二数据类型对应的最大取值和最小取值、以及所述第一输入数值的最大取值和最小取值，确定所述量化操作所使用的目标量化参数，包括：

通过如下公式确定所述目标量化参数：

zero_point＝0

其中，所述目标量化参数包括所述scale和所述zero_point，所述min_val表示所述第一输入数值的最小取值，所述max_val表示所述第一输入数值的最大取值，所述qmax表示所述第二数据类型对应的最大取值，qmin表示所述第二数据类型对应的最小取值。

6.根据权利要求2所述的方法，其特征在于，所述根据所述第二数据类型对应的最大取值和最小取值、以及所述第一输入数值的最大取值和最小取值，确定所述量化操作所使用的目标量化参数，包括：

通过如下公式确定所述目标量化参数：

其中，所述目标量化参数包括所述scale和所述zero_point，所述min_val表示所述第一输入数值的最小取值，所述max_val表示所述第一输入数值的最大取值，所述qmax表示所述第二数据类型对应的最大取值，所述qmin表示所述第二数据类型对应的最小取值，round函数用于对进行四舍五入计算。