[发明专利]针对基于CNN的立体匹配算法的量化方法

权利要求书

1.一种针对基于CNN的立体匹配算法的量化方法，其特征在于，包括：

在推理过程中，采用线性定点化的方式，将浮点形式的权重量化为整数值；

单个卷积运算中，将量化后的输入特征图与量化后的权重进行整数运算，整数运算使用累加器进行乘积累加，累加器中引入了带量化的偏置加法，偏置项使用与权重相同的方式量化；累加器的输出进入激活层，激活层采用ReLU6()函数将最终输出控制在设定的范围内。

2.根据权利要求1所述的采用线性定点化的方式，其特征在于，所述将浮点形式的权重量化为整数值包括：

将浮点形式的权重量化为int8，即位宽为8bit的整数值；其中，第1个bit为符号位，1代表为负数，0代表值为正，第2个bit为整数位；后6个bit为小数位；

量化公式表示为：

x_Q＝clamp(-(N_level-1)，(N_level-1)，x_int)

其中，x表示浮点形式的权重，其为实数值；S表示量化参数，round(.)表示四舍五入的函数；N₁表示小数位所占位宽，也即N₁＝6；N_level＝2^8-1；x_Q表示权重量化后得到的整数值。

3.根据权利要求1所述的采用线性定点化的方式，其特征在于，将量化后的输入特征图与量化后的权重进行整数运算包括：

假设浮点形式的特征图r₁与浮点形式的权重r₂的大小均为N×N；计算r₁与r₂的乘积表示为：r₃＝r₁r₂；

将矩阵r_α第i行第j列元素表示为其中1≤i，j≤N，并且将其量化为S_α的量化参数，量化后的矩阵q_α第i行第j列元素表示为则：

根据矩阵乘法的定义：

得到：

其中，k表示矩阵中的列号，1≤k≤N，S_α表示矩阵r_α的量化参数；

将q₁作为量化后的权重，q₂作为量化后的输入特征图，q₃为整数运算结果；卷积神经网络下一层中的输入特征图是上一层中激活层的输出，对应的量化参数S是相同的，即S₂＝S₃，则乘法因子M仅与量化参数S₁相关；记量化后的权重中小数位所占位宽为N₁，则

乘上一个M值后，通过将数据右移N₁位即可实现的乘法运算。

4.根据权利要求1或3所述的采用线性定点化的方式，其特征在于，量化后的输入特征图与量化后的权重分别为和int12和int8，累加int8和int12的乘积采用一个32bit的累加器；

32bit的累加器中引入带量化的偏置加法，即将偏置项量化为int16；偏置项量化使用与权重相同的方式，区别在于，偏置项量化时的量化参数S′为权重量化参数S₁及输入特征图量化参数S₂的乘积：其中，N₂表示量化后的输入特征图中小数位所占位宽。

5.根据权利要求1或2所述的采用线性定点化的方式，其特征在于，激活层采用ReLU6()函数将最终输出控制在[0，6]之间，则表示整数部分的数据位宽为3bit，首端使用1个bit为符号位，1代表为负数，0代表值为正；末端则使用8bit表示小数位；采用与权重相同的方式量化，区别在于，激活层输出量化时的量化参数为S”＝1/2⁸。

6.根据权利要求1或2所述的采用线性定点化的方式，其特征在于，每一卷积层之后引入了批归一化层，训练时作为一个单独的操作模块，推理过程将批归一化层融入至相应的卷积层中一起进行量化，即将批归一化层参数折叠为卷积层的权重和偏置项；首先，按批处理归一化参数缩放权重与偏置项：

其中，γ是批处理归一化的比例参数，是整个批次中卷积结果方差的估计值，μ_B是整个批次中卷积结果的均值，ε是设定的常数值；

再对于获得的权重ω：fold与偏置项bias进行量化。