[发明专利]一种图像检测模型的高效全整数量化方法

说明书

本发明公开一种目标检测模型的高效全整数量化方法，所述图像检测模型中各层卷积的权值、偏置、输入特征图和输出特征图均采用整数表示，量化推理过程均采用整数计算，具体包括以下步骤：对实数版本的图像检测模型进行正常训练、量化感知训练、量化参数生成、应用生成的各层参数，在计算设备上进行基于全整数运算的推理。本发明可以大大减少图像检测模型的推理时间，减少模型在磁盘存储和内存占用方面的空间，同时保持图像检测模型的高检测精度，有助于在FPGA等计算设备上实现更加高效的图像目标检测系统。

技术领域

本发明涉及一种图像检测模型的高效全整数量化方法，属于神经网络技术领域。

背景技术

近年来，卷积神经网络在图像目标识别、目标检测、像素分割等许多视觉任务上取得了跨越性的进展，在许多任务上达到了超越人类的表现性能，并涌现出很多的知名网络结构，如AlexNet、VGGNet、GoogleNet、ResNet、DenseNet、SENet等。这些卷积网络的发展特点是网络层数越来越多，容量越来越大，导致网络参数和计算量也不断增加，不利于在资源受限的小型移动设备上进行部署和应用。例如，智能手机、无人机等硬件平台希望在满足性能要求的情况下模型尽量小，且功耗和延迟尽量低。

针对移动端的模型应用需求，目前有两大类解决方法。第一种是模型轻量化方法，即为移动端设计轻量化的网络模型。知名的轻量化网络模型包括MobileNet系列(v1到v3共三个版本)、SqueezeNet、ShuffleNet等，这类模型的特点是设计了计算和存储较为高效的操作，使得模型在保持精度的情况下比常规卷积网络模型的参数和计算少很多。第二种是模型压缩方法，主要包括模型量化、模型剪枝和模型蒸馏等技术。由于现有模型的网络参数存在很大的冗余，模型剪枝技术将模型中不重要的网络层或者网络通道进行剪除，使得模型占用的计算和存储都大大减少。剪枝方法重点在于确定网络层和通道的重要性，可以通过训练学习到重要性后进行剪枝操作。模型蒸馏通过一个大的模型(称为老师模型)去引导一个小的模型(称为学生模型)，通过将老师模型的预测信息添加到学生模型的损失函数中，使得学生模型能够去模拟老师模型的预测结果，从而使得小模型也能够取得很高的精度。模型量化是将模型的权重或者网络的激活值(即每层的输入和输出张量)进行整数量化，使得模型可以使用整数进行计算，而不是浮点数进行计算，减少模型的存储和计算时间，并且容易部署到FPGA等适合整数运算的硬件平台。

量化的含义是将取值范围连续有界的浮点数变量，变换到取值范围离散有界的整数变量。量化需要指定量化后整数的bit位数，典型取值包括16bit、32bit和4bit等，bit数通常在量化模型的性能满足要求的情况下选取较小值，使得模型存储和计算更加高效。根据量化后的整数是否含有负数，可分为对称量化和非对称量化，如果含有负数，则属于对称量化，如果全部为正数，则为非对称量化。例如，某个32bit浮点数变量，其取值范围为[-1280,1280]的任意实数值，如果对其进行8bit非对称量化，则量化后的取值范围为0到255之间的整数值，如果对其进行8bit对称量化，则量化后的取值范围为[-128,127]。

现有的模型量化方法根据量化对象来看，分为仅权值量化、权值和激活值均量化、全整数量化三类。仅权值量化方法只将模型中的权值进行量化，比如从32bit的浮点数权重量化为8bit的整数权重，模型在设备存储上所占的空间减少到以前的1/4。但是，这类方法不对网络模型计算过程中每层输入输出的激活值进行量化，计算过程仍然会使用浮点数的激活值和整数量化的权值进行卷积计算，计算效率较低。权值和激活值均量化方法不仅对权值进行量化，还对每层的激活值进行整数量化，这类方法的特点是卷积计算过程高效，因为参与卷积计算的权值和激活值均为整数。现在主流的量化方法主要是权值和激活值均量化方法，这类方法虽然卷积计算高效，但并不是所有过程均为整数计算，主要原因在于卷积的偏置项仍然使用32bit浮点数进行表示，使得量化计算过程含有部分浮点运算。全整数量化方法将权值、激活值和偏置都量化为整数，模型量化后的所有计算过程均采用整数运算，适合在FPGA等设备中进行基于全整数运算的应用。