[发明专利]一种基于CNN的低精度训练与8位整型量化推理方法

说明书

本发明创造提供一种基于CNN的低精度训练与8位整型量化推理方法，主要步骤为：低精度模型训练；用16位浮点型的低精度定点算法进行模型训练，得到用于目标检测的模型；量化权重；提出8位整型量化方案，按层将卷积神经网络的权重参数从16位浮点型量化为8位整型；8位整型量化推理；把激活值量化为8位整型数据，即CNN的每一层都接受int8类型量化输入并生成int8量化输出。本发明用16位浮点型低精度定点算法训练模型得到权重，再量化为8位的整型数据进行前向推理，相比于32位浮点型算法训练模型得到的权重直接进行8位整型量化推理，优化卷积层的推理过程，有效降低了低位定点量化推理带来的精度损失。

技术领域

本发明创造属于卷积神经网络技术领域，尤其是涉及一种基于CNN的低精度训练与8位整型量化推理方法。

背景技术

卷积神经网络(Convolutional Neural Networks，CNNs)在图像分类、目标检测、人脸识别等领域取得了优越的成果，但由于网络结构的复杂性和计算延时，在存储资源和计算资源相对不足的嵌入式平台实现CNNs的实时前向推理，需要在控制精度损失的条件下，压缩神经网络的模型大小以及提升模型计算效率。

目前常用的方法是量化CNN的权值和(或)激活值，将数据从32位浮点型转换为较低位的整型。但目前的量化方法在精度与计算效率的权衡上依然存在不足，很多量化方法在不同程度上进行了网络压缩，节省了存储资源，但不能有效地在硬件平台改进计算效率。目前大量文献只量化权重，有效解决了硬件平台上存储资源不足的问题，但较少涉及计算效率。而二元神经网络(BNN)，三元法权值网络(TWN)，XNOR-net通过位移来实现乘法操作，在硬件平台提高了计算效率，但是将权值和激活值都量化为1位表示或2位表示通常会导致精度的大幅度下降，这对量化方案对模型的表现力要求非常严格，不适用于网络结构简单、适宜应用到嵌入式平台的轻量模型。

低位的数据表示法节省了硬件资源，极大地优化了硬件加速器的设计。但大量研究都是利用GPU加速来进行32位浮点型的高精度模型训练，而只在前向推理中进行低精度的量化，加速CNNs的前向推理速度。当采用极低位的数据表示时，参数精度的严重损失导致模型目标检测精度较为明显的下降，因此训练低精度的模型尤为重要。

发明内容

本发明创造要解决的问题是旨在克服上述现有技术中存在的缺陷，提出一种基于CNN的低精度训练与8位整型量化推理方法，解决现有的量化方法存在的精度损失较大、计算效率不够高的问题。

为解决上述技术问题，本发明创造的技术方案是这样实现的：

一种基于CNN的低精度训练与8位整型量化推理方法，包括如下步骤：

低精度模型训练；用16位浮点型的低精度定点算法进行模型训练，得到用于目标检测的模型，即权重；

量化权重；提出8位整型量化方案，按层将卷积神经网络的权重参数从16位浮点型量化为8位整型；

8位整型量化推理；把激活值量化为8位整型数据，即CNN的每一层都接受int8 类型量化输入并生成int8量化输出。

进一步，低精度模型训练包括在大型服务器端用GPU加速来训练模型,计算过程中用16位浮点型保存数据。

进一步，计算过程中的16位浮点型数据中，用2位保存整数部分，用14 位保存小数部分；用四舍五入保留浮点型数据的14位精度。

进一步，量化权重包括提出量化方案：其中x 表示浮点型数据，a、b分别表示待量化数组中数据的最小值、最大值，即 a：＝min(x_i),b：＝max(x_i)。再通过四舍五入函数Round()取整得到量化值q。

进一步，把权重按层分成一系列数组，求取每一个权重数组的最值，将同一个数组内的数据等比例放缩成8位的整数。