[发明专利]一种针对一阶段目标检测网络的低比特量化的方法和装置

说明书

本发明提供一种针对一阶段目标检测网络的低比特量化的方法、系统、设备和存储介质，方法包括：在目标检测网络的主干网络的所有卷积层或全连接层均插入伪量化节点，在所述卷积层或全连接层的权重部分增加第一权重伪量化层，并在所述卷积层或全连接层的输入部分增加第一输入伪量化层；使用satRelu层替换所述主干网络中的relu层；在所述目标检测网络的检测部分的卷积层的权重部分增加第二权重伪量化层，并在所述检测部分的卷积层的输入部分增加第二输入伪量化层；以及在所述检测部分的卷积层后增加satFun层。本发明可以保证模型精度损失小于1％，且大大提升模型的推理速度，缩小模型存储占用的空间。

技术领域

本发明涉及目标检测领域，更具体地，特别是指一种针对一阶段目标检测网络的低比特量化的方法、系统、设备和存储介质。

背景技术

Neural Network(神经网络)模型一般都会占用很大的磁盘空间，比如AlexNet的模型文件就超过了200MB。模型包含了数百万的参数，绝大部分的空间都用来存储这些模型的参数了。这些参数是浮点数类型的，普通的压缩算法很难压缩它们的空间。

一般模型的内部的计算都采用了浮点数计算，浮点数的计算会消耗比较大的计算资源(空间和cpu/gpu时间)，如果在不影响模型准确率的情况下，模型内部可以采用其他简单数值类型进行计算的话，计算速度会提高很多，消耗的计算资源会大大减小，尤其是对于移动设备来说，这点更加重要，由此引入量化技术。

量化即通过减少表示每个权重所需的比特数来压缩原始网络。对于8比特量化模型可以压缩到1/4，网络的运行速度会大大提升。相比于8比特量化，4比特量化可以在8比特的基础上将模型的体积继续压缩1倍，运行速度提升50％。但是4比特由于最大只能表征16个数，因此会导致模型的分类精度下降。另外，cpu中没有int4这种数据类型，也会导致实际运行困难。

与离线量化不同，训练量化需要在训练中模拟量化操作的影响，并通过训练使得模型学习并适应量化操作所带来的误差，从而提高量化的精度。因此训练量化也称为Quantization-aware Training(QAT)，意指训练中已经意识到此模型将会转换成量化模型。

模型量化可以缓解现有卷积神经网络参数量大、计算量大、内存占用多等问题，具有为神经网络压缩参数、提升速度、降低内存占用等“潜在”优势。

目前大多数训练和推理框架都支持int8量化，但是由于int4会导致模型精度下降严重等原因，都没支持int4的量化。很多低比特量化算法采用的是非线性量化的方式，非线性量化可以提升模型精度，但会引入额外的运算，降低运算速度。

目前针对一阶段目标检测网络的量化方法，为了减少精度损失，一般仅对模型的主干网络部分进行量化，不进行检测网络的量化。即使现有的量化方法在图像分类任务中可以获得较少的精度下降和不错的性能加速，但是在保持精度的情况下，在目标检测中使用低比特量化仍是一个挑战。

发明内容

有鉴于此，本发明实施例的目的在于提出一种针对一阶段目标检测网络的低比特量化的方法、系统、计算机设备及计算机可读存储介质，本发明通过分别对目标检测网络的主干网络和检测部分增加伪量化层和引入satRelu层，在较小模型精度损失的情况下，通过低比特量化提升模型的压缩率，且大大提升模型的推理速度，缩小模型存储占用的空间。

基于上述目的，本发明实施例的一方面提供了一种针对一阶段目标检测网络的低比特量化的方法，包括如下步骤：在目标检测网络的主干网络的所有卷积层或全连接层均插入伪量化节点，在所述卷积层或全连接层的权重部分增加第一权重伪量化层，并在所述卷积层或全连接层的输入部分增加第一输入伪量化层；使用satRelu层替换所述主干网络中的relu层；在所述目标检测网络的检测部分的卷积层的权重部分增加第二权重伪量化层，并在所述检测部分的卷积层的输入部分增加第二输入伪量化层；以及在所述检测部分的卷积层后增加satFun层。