[发明专利]卷积神经网络INT8量化方法、系统、设备及存储介质

权利要求书

1.一种卷积神经网络INT8量化方法，其特征在于，包括如下步骤：

获取卷积层的参数量化系数，并对所述卷积层的参数进行参数非线性映射，得到量化后参数；

将矫正图像数据输入所述卷积神经网络，根据所述卷积层的输入数据获取所述卷积层的输入量化系数，并根据所述卷积层的输出数据获取所述卷积层的输出量化系数；

根据所述输入量化系数建立所述卷积层的输入量化函数，所述输入量化函数用于将所述卷积层的输入数据非线性映射得到量化后的输入数据；

根据所述量化后参数、所述输入量化函数和所述输出量化系数，建立所述卷积层的输出量化函数，所述输出量化函数用于将所述卷积层的输出数据非线性映射得到量化后的输出数据。

2.根据权利要求1所述的卷积神经网络INT8量化方法，其特征在于，对所述卷积层的参数进行参数非线性映射，包括计算第一对数函数的值，并根据所述第一对数函数的值计算量化后参数，所述第一对数函数以所述卷积层量化前的参数与所述参数量化系数的比值为真数；

建立所述卷积层的输入量化函数，包括建立第二对数函数，并基于所述第二对数函数建立所述输入量化函数，所述第二对数函数以所述卷积层量化前的输入数据与所述输入量化系数的比值为真数。

3.根据权利要求2所述的卷积神经网络INT8量化方法，其特征在于，所述卷积层的参数包括卷积核参数，采用如下公式计算量化后的卷积核参数：

其中，weights表示量化前的卷积核参数，INT8_weights表示量化后的卷积核参数，scale_w表示参数量化系数；

采用如下公式建立所述输入量化函数：

其中，inputs表示所述卷积层量化前的输入数据，INT8_inputs表示所述卷积层量化后的输入数据，scale_in表示输入量化系数。

4.根据权利要求2所述的卷积神经网络INT8量化方法，其特征在于，建立所述卷积层的输出量化函数，包括如下步骤：

根据所述卷积层的输入、卷积层的参数以及卷积层的输出，建立第一输出函数，所述第一输出函数以量化前的输入数据为自变量，量化前的输出数据为因变量；

将所述第一输出函数中的输入数据以所述输入量化函数的反函数表示，得到第二输出函数，所述第二输出函数以量化后的输入数据为自变量，量化前的输出数据为因变量；

建立第三对数函数，所述第三对数函数以所述量化前的输出数据与所述输出量化系数的比值为真数，将所述量化前的输出数据替换为所述第二输出函数；

根据所述第三对数函数建立所述输出量化函数。

5.根据权利要求2所述的卷积神经网络INT8量化方法，其特征在于，建立所述卷积层的输出量化函数，包括如下步骤：

根据所述参数量化系数、输入量化系数和输出量化系数计算得到量化系数值；

根据所述量化后参数建立第三输出函数，所述第三输出函数以量化后的输入数据为自变量，以INT8_sum的值为因变量；

采用如下公式建立所述卷积层的输出量化函数：

INT8_output＝INT8_scale+INT8_sum-16

其中，INT8_output表示所述卷积层的量化后的输出数据，INT8_scale表示所述量化系数值，INT8_sum表示所述第三输出函数的因变量值。

6.根据权利要求5所述的卷积神经网络INT8量化方法，其特征在于，采用如下公式计算得到量化系数值：

其中，scale_w表示所述卷积层的参数量化系数，scale_in表示所述卷积层的输入量化系数，scale_ou表示所述卷积层的输出量化系数。

7.根据权利要求5所述的卷积神经网络INT8量化方法，其特征在于，采用如下公式建立第三输出函数：

其中，f(x)采用如下公式表示：

其中，n表示所述卷积层的通道数，INT8_weightsi表示第i个通道的量化后的卷积核参数，INT8_inputsi表示第i个通道的量化后的输入数据，INT8_bias表示所述卷积层量化后的偏差。