[发明专利]一种卷积神经网络全INT8定点量化的方法

权利要求书

1.一种卷积神经网络全INT8定点量化的方法，用于将卷积神经网络中的所有操作涉及的参数进行INT8定点量化，其特征在于，所述卷积神经网络全INT8定点量化的方法，包括：

选取卷积神经网络模型，去除卷积神经网络模型中的上采样操作，保留多尺度特征输出，并训练得到浮点型网络模型；

利用KL散度为所述浮点型网络模型中的每一个卷积层生成对应的权值量化阈值和激活值量化阈值；

调整各卷积层对应的权值量化阈值，直至各卷积层的Requantize阈值Scale_req均为2的幂次方，确定调整后的权值量化阈值；

根据量化公式8-bit Tensor(t)＝scale_factor(sf)*FP32 Tensor(t)，其中Tensor(t)为权值，scale_factor(sf)为调整后的权值量化阈值，逐一量化各卷积层的权值，得到量化后的权值文件；

基于权值文件，对所述浮点型网络模型中的residual结构增加阈值补偿操作，进行全INT8前向计算，获取较低精度损失的计算结果；

其中，所述各卷积层的Requantize阈值Scale_req采用如下公式计算：

Scale_req_i＝Blob_scale_i+1*Scale_deq_i

Scale_deq_i＝1./(Blob_scale_i*Param_scale_i)

其中，Scale_req_i表示第i卷积层的Requantize阈值，Blob_scale_i表示第i卷积层的激活值量化阈值，Scale_deq_i表示第i卷积层的反量化操作Dequantize阈值，Param_scale_i表示第i卷积层的权值量化阈值；

其中，所述对所述浮点型网络模型中的residual结构增加阈值补偿操作，包括：

所述residual结构包括第一卷积层、第一分支组件、第二分支组件和第六卷积层，所述第一分支组件包括第一左分支和第一右分支，所述第一左分支中包含第二卷积层和第三卷积层，所述第二分支组件包括第二左分支和第二右分支，所述第二左分支包含第四卷积层和第五卷积层；

所述第一右分支利用第四卷积层的激活值量化阈值对接收的参数进行量化，所述第二右分支利用第六卷积层的激活值量化阈值对接收的参数进行量化，完成阈值补偿操作。

2.如权利要求1所述的卷积神经网络全INT8定点量化的方法，其特征在于，所述卷积神经网络模型为基于Darknet-53网络结构的YOLOv3网络模型。

3.如权利要求1所述的卷积神经网络全INT8定点量化的方法，其特征在于，所述浮点型网络模型中若卷积层与Batchnorm层以及Scale层相连，则通过以下公式将Batchnorm层以及Scale层的权值合并至该卷积层的权值中：

其中，γ为BM层的缩放因子，β为BM层的偏移，x为卷积层输入，ε为预设的数，var为方差计算，mean为均值计算，w^′为融合后的权重，b^′为融合后的偏执，w为融合前卷积层的权重，b为融合前卷积层的偏执。