[发明专利]卷积神经网络INT8量化方法、系统、设备及存储介质

说明书

本发明提供了一种卷积神经网络INT8量化方法、系统、设备及存储介质，所述方法包括：获取卷积层的参数量化系数，并对所述卷积层的参数进行参数非线性映射，得到量化后参数；获取所述卷积层的输入量化系数，建立所述卷积层的输入量化函数，所述输入量化函数用于将所述卷积层的输入数据非线性映射得到量化后的输入数据；获取所述卷积层的输出量化系数，根据所述量化后参数和所述输入量化函数，建立所述卷积层的输出量化函数，所述输出量化函数用于将所述卷积层的输出数据非线性映射得到量化后的输出数据。通过采用本发明，通过将模型参数、输入和输出进行离线非线性量化，实现了整个模型纯整数运算，并且提高了量化精度。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种卷积神经网络INT8量化方法、系统、设备及存储介质。

背景技术

现今神经网络算法在视觉领域有着巨大的潜力和惊人的识别率，在很多领域都有着巨大的应用，伴随着手机移动端的兴起，手机的处理能力变得越来越强，然而针对神经网络模型动则几百兆的大小，仍然显得不足。神经网络模型训练大多是浮点数32位的，而基于这样的模型，大多数情况下，并不能很好的移植到移动端，因此模型压缩就显得格外重要。

现有技术中虽然出现了一些卷积神经网络的量化方法，例如谷歌、寒武纪的量化方法，但是这些方法一般均采用线性的量化，参数和输入输出中较小的值表达能力不强，容易造成精度损失。并且现有方法的模型推断中往往存在浮点数，不利于硬件底层设计。此外，现有方案中的模型矫正需要较多的图片进行卷积层系数确定，对图片数据分布要求较高，如现有的TensorRT量化需要几千张图片进行量化。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种卷积神经网络INT8量化方法、系统、设备及存储介质，通过将模型参数、输入和输出进行离线非线性量化，实现整个模型纯整数运算，并且提高量化精度。

本发明实施例提供一种卷积神经网络INT8量化方法，包括如下步骤：

获取卷积层的参数量化系数，并对所述卷积层的参数进行参数非线性映射，得到量化后参数；

将矫正图像数据输入所述卷积神经网络，根据所述卷积层的输入数据获取所述卷积层的输入量化系数，并根据所述卷积层的输出数据获取所述卷积层的输出量化系数；

根据所述输入量化系数建立所述卷积层的输入量化函数，所述输入量化函数用于将所述卷积层的输入数据非线性映射得到量化后的输入数据；

根据所述量化后参数、所述输入量化函数和所述输出量化系数，建立所述卷积层的输出量化函数，所述输出量化函数用于将所述卷积层的输出数据非线性映射得到量化后的输出数据。

可选地，对所述卷积层的参数进行参数非线性映射，包括计算第一对数函数的值，并根据所述第一对数函数的值计算量化后参数，所述第一对数函数以所述卷积层量化前的参数与所述参数量化系数的比值为真数；

建立所述卷积层的输入量化函数，包括建立第二对数函数，并基于所述第二对数函数建立所述输入量化函数，所述第二对数函数以所述卷积层量化前的输入数据与所述输入量化系数的比值为真数。

可选地，所述卷积层的参数包括卷积核参数，采用如下公式计算量化后的卷积核参数：

其中，weights表示量化前的卷积核参数，INT8_weights表示量化后的卷积核参数，scale_w表示参数量化系数；

采用如下公式建立所述输入量化函数：

其中，inputs表示所述卷积层量化前的输入数据，INT8_inputs表示所述卷积层量化后的输入数据，scale_in表示输入量化系数。

可选地，建立所述卷积层的输出量化函数，包括如下步骤：