[发明专利]一种神经网络模型量化方法、设备、产品及介质

权利要求书

1.一种神经网络模型量化方法，其特征在于，包括：

获取预先训练的用于对输入的图像数据进行处理且各权重为浮点数的第一神经网络模型；

基于梯度调整函数，分别对所述第一神经网络模型的各权重进行调整，得到第二神经网络模型；其中，所述梯度调整函数在正向传播时为恒等函数，在反向传播时分别对所述第一神经网络模型的各权重进行调整，使得所述第一神经网络模型的各权重分别收敛于其对应的量化整数值；

基于权重量化系数，分别对所述第二神经网络模型的各权重进行量化，得到目标神经网络模型；其中，所述权重量化系数用于将所述第二神经网络模型的各权重分别映射到其对应的整数域上。

2.如权利要求1所述的神经网络模型量化方法，其特征在于，基于梯度调整函数，分别对所述第一神经网络模型的各权重进行调整，得到第二神经网络模型，包括：

基于所述梯度调整函数，分别对所述第一神经网络模型的各权重进行变形，得到中间神经网络模型；

基于训练样本集，对所述中间神经网络模型进行训练，得到所述第二神经网络模型。

3.如权利要求2所述的神经网络模型量化方法，其特征在于，基于训练样本集，对所述中间神经网络模型进行训练，得到所述第二神经网络模型，包括：

基于所述训练样本集，对所述中间神经网络模型进行迭代训练，直至确定迭代训练的次数达到设定次数时，基于最后一次迭代训练获得的各目标权重，得到所述第二神经网络模型；其中，每次迭代训练包括：

从所述训练样本集中选取目标训练样本；

将所述目标训练样本输入所述中间神经网络模型，得到所述目标训练样本的预测结果，并基于所述目标训练样本的预测结果和标注结果，得到目标损失值；

基于所述中间神经网络模型的各权重和所述各权重的权重量化参数，确定所述各权重的梯度比例参数，分别基于所述各权重的梯度比例参数和当前梯度，确定所述各权重的第一目标梯度；其中，所述各权重的当前梯度为上次迭代训练获得的所述各权重的第一目标梯度；

分别基于所述目标损失值和所述各权重的第一目标梯度，更新所述各权重，得到各目标权重。

4.如权利要求3所述的神经网络模型量化方法，其特征在于，分别基于所述各权重的梯度比例参数和当前梯度，确定所述各权重的第一目标梯度之前，还包括：

针对所述中间神经网络模型的每一权重，获取不包含所述梯度比例参数时所述权重的第二目标梯度，确定基于所述第二目标梯度和所述目标损失值更新后的权重相比所述权重更接近整数时，将所述权重的梯度比例参数设置为1，否则，保持所述权重的梯度比例参数不变。

5.如权利要求3所述的神经网络模型量化方法，其特征在于，分别基于所述各权重的梯度比例参数和当前梯度，确定所述各权重的第一目标梯度之前，还包括：

针对所述中间神经网络模型的每一权重，基于所述权重的当前梯度确定所述权重与所述权重的权重量化参数的比值向距离所述比值最近的整数移动时，将所述权重的梯度比例参数设置为1，否则，保持所述权重的梯度比例参数不变。

6.如权利要求1-5任一项所述的神经网络模型量化方法，其特征在于，基于所述权重量化系数，分别对所述第二神经网络模型的各权重进行量化，得到目标神经网络模型，包括：

基于所述权重量化系数，分别将所述第二神经网络模型的各权重映射到相应的整数域上，得到各权重的量化权重，并基于各量化权重，得到所述目标神经网络模型。

7.如权利要求6所述的神经网络模型量化方法，其特征在于，基于所述权重量化系数，分别将所述第二神经网络模型的各权重映射到相应的整数域上，得到各权重的量化权重，包括：

针对所述第二神经网络模型的每一权重，基于所述权重和所述权重量化系数的乘积的整数值与所述权重量化系数的比值，确定所述权重的量化值，将所述权重的量化值确定为所述权重的量化权重；

或者；

针对所述第二神经网络模型的每一权重，将所述权重和所述权重量化系数的乘积的整数值确定为所述权重的量化权重。