[发明专利]一种基于CNN的低精度训练与8位整型量化推理方法

权利要求书

1.一种基于CNN的低精度训练与8位整型量化推理方法，其特征在于，包括如下步骤：

低精度模型训练；用16位浮点型的低精度定点算法进行模型训练，得到用于目标检测的模型；

量化权重；提出8位整型量化方案，按层将卷积神经网络的权重参数从16位浮点型量化为8位整型；

8位整型量化推理；把激活值量化为8位整型数据，即CNN的每一层都接受int8类型量化输入并生成int8量化输出。

2.根据权利要求1所述的一种基于CNN的低精度训练与8位整型量化推理方法，其特征在于：低精度模型训练包括在大型服务器端用GPU加速来训练模型,计算过程中用16位浮点型保存数据。

3.根据权利要求2所述的一种基于CNN的低精度训练与8位整型量化推理方法，其特征在于：计算过程中的16位浮点型数据中，用2位保存整数部分，用14位保存小数部分，用四舍五入保留浮点型数据的14位精度。

4.根据权利要求1所述的一种基于CNN的低精度训练与8位整型量化推理方法，其特征在于，量化权重包括提出量化方案：，其中x表示浮点型数据，分别表示待量化数组中数据的最小值、最大值，即，

再通过四舍五入函数Round()取整得到量化值q。

5.根据权利要求4所述的一种基于CNN的低精度训练与8位整型量化推理方法，其特征在于：把权重按层分成一系列数组，求取每一个权重数组的最值，将同一个数组内的数据等比例放缩成8位的整数。

6.根据权利要求1所述的一种基于CNN的低精度训练与8位整型量化推理方法，其特征在于，8位整型量化推理过程包括如下步骤：

(a)BN算法预处理；在卷积运算之前计算输入样本的均值和方差，进行归一化预处理；

(b)整型卷积运算；用8位整型量化方案将浮点型乘法运算转化为整型乘法运算；

(c)优化激活函数；逐层选取每一个卷积层的激活区域[a,b]，优化激活函数来把卷积运算结果映射到已知区域[a,b]。

7.根据权利要求1至6任一种基于CNN的低精度训练与8位整型量化推理方法，其特征在于：在推理过程中采用全整型数据计算。