[发明专利]一种模型训练方法及装置

权利要求书

1.一种模型训练方法，其特征在于，所述方法包括：

获取第一神经网络模型，其中，所述第一神经网络模型包括卷积BN层和第一量化算子，所述卷积BN层用于根据第一权重对输入的第N批batch的数据进行卷积处理，根据BN系数对卷积处理结果进行归一化处理，并基于归一化处理结果更新所述BN系数，对更新后的所述BN系数进行所述第一权重的更新，所述第一量化算子用于对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，所述卷积BN层还用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理；

对所述第一神经网络模型进行模型训练，以获取训练后的第一神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取第二神经网络模型，所述第二神经网络模型包括第一卷积层以及第一BN层；

对所述第一卷积层以及所述第一BN层进行BN折叠处理，以得到所述第一神经网络模型，所述第一神经网络模型包括对所述第一卷积层以及所述第一BN层进行折叠处理后得到的所述卷积BN层。

3.根据权利要求1所述的方法，其特征在于，所述卷积BN层为对卷积层和BN层进行折叠得到的，所述第一权重为根据所述BN系数与目标权重的乘积结果得到的，所述更新后的第一权重为将所述更新后的BN系数与所述目标权重进行乘积得到的，所述目标权重为所述卷积层中包括的权重。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

将所述BN系数与所述目标权重进行乘积运算，以得到第一目标张量，所述第一目标张量包括M个元素；将所述第一目标张量包括的所述M个元素中绝对值最大的N个目标元素替换为所述M个元素中除所述N个目标元素之外的M-N个元素中的最大的元素，以得到所述第一权重。

5.根据权利要求3或4所述的方法，其特征在于，所述第一神经网络模型中的所述第一卷积层用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理，以得到卷积处理结果，并将所述卷积处理结果与所述更新后的BN系数进行相除，以得到第二输出。

6.根据权利要求1至5任一所述的方法，其特征在于，所述第二神经网络模型还包括目标激活层，所述第二神经网络模型中的所述目标激活层用于对输入数据进行处理，以得到第三输出，所述第一神经网络模型还包括所述目标激活层以及第二量化算子，所述第一神经网络模型中的所述目标激活层用于对输入数据进行处理，以得到第四输出，所述第二量化算子用于根据所述第二量化因子对所述第四输出进行量化处理以及反量化处理。

7.根据权利要求6所述的方法，其特征在于，所述第三输出为第二目标张量，所述第二目标张量包括X个元素，所述方法还包括：

获取所述X个元素中绝对值最大的Y个目标元素；

将所述第二目标张量中的所述Y个目标元素替换为所述X个元素中除所述Y个目标元素之外的X-Y个元素中的最大的元素，以得到所述第二量化因子。

8.根据权利要求1至7任一所述的方法，其特征在于，所述第一量化算子用于根据第一量化因子对更新后的所述第一权重进行量化处理以及反量化处理，所述训练后的第一神经网络模型包括训练后的第一量化因子以及训练后的BN系数，所述方法还包括：

根据所述训练后的第一量化因子以及所述训练后的BN系数，对所述第一神经网络模型进行量化，以得到第三神经网络模型，所述第三神经网络模型包括量化后的所述第一卷积层，所述量化后的第一卷积层用于根据量化后的权重对输入数据进行卷积处理，所述量化后的权重为根据所述第一量化因子以及所述训练后的BN系数得到的。