[发明专利]一种图像检测模型的高效全整数量化方法

权利要求书

1.一种图像检测模型的高效全整数量化方法，其特征在于，所述图像检测模型中各层卷积的权值、偏置、输入特征图和输出特征图均采用整数表示，量化推理过程均采用整数计算，具体包括以下步骤：

步骤1：正常训练，采用基于MobileNetv2的轻量化卷积网络作为检测主干网，使用YoLov2方法的损失函数对实数版本的图像检测模型进行正常训练，其中，模型的权值、输入特征图和输出特征图均用实数表示，训练和推理均使用浮点数进行计算，模型的输入为待检测的图片数据，输出为图片中目标的检测结果，包括目标的坐标、高度和宽度信息；

步骤2：量化感知训练，针对图像检测模型的每个卷积层，在正常训练的前向计算中加入假量化过程，使得模型能够更好地模拟量化推理过程，在反向传播中使用浮点数更新模型参数，具体包括以下步骤：

步骤2.1：使用图像检测模型每个卷积层的权值和输入特征图进行常规卷积，得到输出特征图；

步骤2.2：计算每层输出特征图的均值μ_b和标准差σ_b，即该层图像特征表示的均值和标准差，并按照以下公式(37)计算输出特征图的BN参数，包括移动平均值和

，

其中，t为当前训练样本的批次值，和为前一批训练样本计算的移动平均值，τ为当前训练样本批次在计算移动平均值时的权重，τ的典型取值为0.01，1-τ为前一批次数据所计算移动平均值的权重；

按照公式和计算BN融合卷积的权值w′和偏置b′，其中，μ_r和σ_r为图像样本均值和标准差的移动平均值，在训练过程中取值为当前批次更新后的移动平均值，和γ为BN层训练确定的斜率参数，β为BN层训练确定的偏置参数，b为常规卷积层的偏置项，w为常规卷积层的权值矩阵；

步骤2.3：根据假量化公式对BN融合卷积的权值w′和输入特征图进行假量化，其中，S为量化的尺度因子参数，R_d为原实数集合，为经过假量化操作后的实数集合，int()为取整函数，clamp()为夹断函数，将输入夹断到固定的量化整数范围，即[-127,127]；

在假量化过程中，范围跟踪器R1和R2，分别记录并更新BN融合卷积权值和输入特征图的最小值和最大值；

设置两个量化器Q1和Q2，分别按照公式和更新权值和输入特征图的量化尺度因子S_w和S_x，从而将实数形式的权值和输入经过量化过程转变为整数，然后通过反量化过程转回修正版的实数，其中，B为用于确定量化整数范围的量化bit数，采用对称量化，量化整数空间为[-2^(B-1)+1,2^(B-1)-1]，B＝8时范围为[-127,127]，代表权值矩阵R_w中的元素，记该卷积层的权值矩阵含有N行T列数据，权值矩阵写为是权值矩阵每个元素值除以量化尺度因子后的值，同理，代表输入特征图R_x中的元素，记该卷积层的输入特征图矩阵含有T行P列数据，输入特征图矩阵可以写为是输入特征图每个元素值除以其量化尺度因子后的值；

步骤2.4：使用假量化后的权值和输入特征图进行卷积，得到卷积结果；

步骤2.5：卷积结果加上BN融合卷积的偏置项b′，得到输出特征图；

步骤2.6：如果卷积层后面存在非线性激活函数ReLU6，则按照如下公式对上面步骤的输出特征图(记为q_x)进行截断处理，

其中，q₆＝f(6,S)＝clamp(int(6/S)) (45)，该公式中S取值为下层卷积输入特征图的量化尺度因子，q_y为ReLU6激活函数处理后的输出特征图；

步骤2.7：将上面计算的输出特征图送往下层卷积，作为其输入特征图，逐层进行后续处理，得到模型所有卷积层的输出，计算损失函数；

步骤2.8：根据损失函数，按照BP计算模型训练参数的梯度并更新参数；

步骤2.9：迭代步骤2.1至2.8多次，直到网络模型收敛，完成量化感知训练；

步骤3：量化参数生成，在量化感知训练完成后，通过一次前向计算，生成网络各层的量化参数，针对每层卷积，执行步骤如下：

步骤3.1：根据公式和计算BN融合卷积的权值和偏置，其中，μ_r和σ_r为量化感知训练结束时最终确定的样本均值和标准差的移动平均值，γ和β为最后一次训练所得的斜率参数及偏置参数，b为常规卷积层的偏置项，w为常规卷积层的权值矩阵，w′为BN融合卷积层的权值矩阵，b′为BN融合卷积层的偏置项；

步骤3.2：获取该层量化器Q1和Q2中保存的量化尺度因子S_w和S_x，以及下层卷积中量化器Q2保存的量化尺度因子(记为S_y)，根据公式计算M₀，其中，S_w、S_x和S_y分别是本层BN融合卷积权值、本层输入特征图、本层BN融合卷积输出特征图，即下层卷积的输入特征图的量化尺度因子，M为[0,1]区间的小数，n为使得小数M变换为整数M₀所移动的二进制比特位数，取n＝20；

步骤3.3：根据量化公式Q_d＝clamp(int(R_d/S))(11)，在已知量化尺度因子分别为S_w和S_x的情况下，对BN融合卷积的权值和输入特征图进行量化，得到对应的量化版本Q_w和Q_x，其中，权值输入代表BN融合卷积的权值矩阵R_w中的元素，代表输入特征图R_x中的元素，矩阵中单个元素的量化公式为f(r_i,S)＝clamp(int(r_i/S))；

步骤3.4：根据公式对BN融合卷积的偏置进行量化，得到对应的量化版本Q_b，其中，令S_b＝S_wS_x，代表BN融合卷积的偏置R_b中的元素，

步骤3.5：在上述步骤已求得M₀、Q_w、Q_x和Q_b的情况下，根据全整数量化推理公式Q_y＝clamp(int([M₀(Q_w×Q_x+Q_b)]＞＞n)) (35)，计算该层BN融合卷积量化版本的输出特征图Q_y，如果该层后面有ReLU6激活函数，则按照步骤2.6中q_y＝qrelu6(q_x)函数进行截断处理，输出截断后的输出特征图；

步骤3.6：保存本层中计算出的量化参数，包括M₀、n、Q_w和Q_b，以供量化推理阶段使用；

步骤3.7：将本层的输出特征图Q_y输入到下层卷积，作为其输入特征图，逐层进行后续处理，直至最后一个BN融合卷积层；

步骤3.8：对于最后一层卷积，设置一个范围跟踪器和量化器，用于跟踪该层输出特征图的最小值和最大值，并计算量化尺度参数S_last，从而得到图像检测模型所有BN融合卷积层的量化参数；

步骤4：量化推理，应用生成的各层参数，在计算设备上进行基于全整数运算的推理，具体为：

步骤4.1：第一层按照公式进行处理，其中，x为输入的检测图像数据，取值范围为[0,255]，h(x)为对首层输入进行处理，使其满足量化输入要求，取值范围为[0,127]，h(x)输入到量化版检测模型的第一层，作为该层的输入特征图；

步骤4.2：对于中间的所有BN融合卷积层，从步骤3.8中生成的模型参数中加载每个卷积层的量化参数，包括M₀、n、Q_w和Q_b，从该层的输入中得到前面层传入的输入特征图Q_x，根据Q_y＝clamp(int([M₀(Q_w×Q_x+Q_b)]＞＞n)) (35)进行前向推理，计算得到该层的输出特征图Q_y，如果该层后面有ReLU6激活函数，则按照步骤2.6中q_y＝qrelu6(q_x)函数进行截断处理，输出截断后的输出特征图；将计算的输出特征图传入下一层作为输入特征图，直到得到最后一个BN融合卷积层的输出特征图；

步骤4.3：对于最后一层卷积，在计算输出特征图后，利用反量化公式将量化整数矩阵转换为实数矩阵输出，其中S的取值为步骤3.8计算的S_last，Q_d的取值为最后一层的量化输出特征图，为最后一层的实数输出特征图，代表输入图像数据在最后一个BN融合层的实数特征表示；

步骤4.4：将最后一层的实数特征表示送入nms(Non-Maximum Suppression)进行非最大抑制后处理，过滤不合理的检测框，输出预测目标框。