[发明专利]一种量化模型的生成方法及终端

说明书

本发明公开一种量化模型的生成方法及终端，利用数据集训练目标检测模型，得到收敛后的浮点型的目标检测模型，再进行量化并基于梯度估计进行训练，得到收敛后的第一量化模型，最后将目标检测模型与第一量化模型基于两者的联合损失函数进行联合训练，得到收敛后的第二量化模型，量化操作以及梯度估计不准确均会造成精度损失，导致得到的第一量化模型的精度下降，通过将目标检测模型与第一量化模型进行联合训练，基于知识蒸馏的原理，使得目标检测模型能够对第一量化模型进行指导，让第一量化模型学习目标检测模型的提取特征能力，得到最优的第二量化模型，以此减少了模型量化后的精度损失，提升了目标检测模型量化后的精度。

技术领域

本发明涉及神经网络技术领域，尤其涉及一种量化模型的生成方法及终端。

背景技术

随着深度学习技术的发展，为了加速神经网络模型的运行速度，便于神经网络在移动端中部署，通常使用量化技术将浮点计算模型量化为定点计算模型。

现有技术中，通常将基于深度学习的浮点型32bit(比特)目标检测模型量化到8bit，将原有模型中大部分fp(float，浮点型)32的乘法计算转换成int(整型)8的乘法计算和fp32的加法计算，但是量化操作后，即使其引入伪量化节点来训练，依旧会带来一定的精度损失。

还有一种方法将基于深度学习的浮点型32bit图片分类模型量化到低bit，将原有模型中的fp32的乘法计算转换成底层的低比特点积位运算，并同时在fp32模型中引入量化训练，使得量化模型精度损失进一步减小，但是训练引入的梯度是利用直通估计器估计出来的，估计不准确依旧会造成模型精度下降。

发明内容

本发明所要解决的技术问题是：提供了一种量化模型的生成方法及终端，能够减少模型量化后的精度损失，提升目标检测模型量化后的精度。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种量化模型的生成方法，包括步骤：

利用预设数据集对目标检测模型进行训练，得到收敛后的浮点型的目标检测模型；

对所述目标检测模型进行量化并基于梯度估计进行训练，得到收敛后的第一量化模型；

将所述目标检测模型与所述第一量化模型基于两者的联合损失函数进行联合训练，得到收敛后的与所述第一量化模型对应的第二量化模型。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种量化模型的生成终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

利用预设数据集对目标检测模型进行训练，得到收敛后的浮点型的目标检测模型；

对所述目标检测模型进行量化并基于梯度估计进行训练，得到收敛后的第一量化模型；

将所述目标检测模型与所述第一量化模型基于两者的联合损失函数进行联合训练，得到收敛后的与所述第一量化模型对应的第二量化模型。

本发明的有益效果在于：利用数据集训练目标检测模型，得到收敛后的浮点型的目标检测模型，再将目标检测模型进行量化并基于梯度估计进行训练，得到收敛后的第一量化模型，最后将目标检测模型与第一量化模型基于两者的联合损失函数进行联合训练，得到收敛后的第二量化模型，在将目标检测模型进行量化并基于梯度估计进行训练后，量化操作以及梯度估计不准确均会造成精度损失，导致得到的第一量化模型的精度下降，通过将目标检测模型与第一量化模型进行联合训练，基于知识蒸馏的原理，使得目标检测模型能够对第一量化模型进行指导，让第一量化模型学习目标检测模型的提取特征能力，得到最优的第二量化模型，以此减少了模型量化后的精度损失，提升了目标检测模型量化后的精度。

附图说明