[发明专利]一种神经网络模型的剪枝方法、装置及设备

权利要求书

1.一种神经网络模型的剪枝方法，其特征在于，所述方法包括：

根据预设剪枝阈值对预设神经网络模型进行剪枝，并基于已剪枝权重的权重值调整所述剪枝后的预设神经网络模型中未剪枝权重的权重值，生成剪枝神经网络模型；

对所述剪枝神经网络模型进行重训练，得到目标神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述基于已剪枝权重的权重值调整所述剪枝后的预设神经网络模型中未剪枝权重的权重值，具体包括：

根据所述已剪枝权重的权重值及预设调节参数，调整所述剪枝后的预设神经网络模型中各未剪枝权重的权重值。

3.根据权利要求2所述的方法，其特征在于，所述对所述剪枝神经网络模型进行重训练，得到目标神经网络模型，具体包括：

将所述剪枝神经网络模型进行重训练得到对应的损失函数，以并根据所述损失函数调整所述预设调节参数；

根据调整后的预设调节参数以及所述已剪枝权重的权重值，再次调整所述未剪枝权重的权重值，并生成下一剪枝神经网络模型；

继续执行将下一剪枝神经网络模型进行重训练得到损失函数的步骤，直至所述剪枝神经网络模型满足第一预设条件，得到所述目标神经网络模型。

4.根据权利要求2所述的方法，其特征在于，所述基于已剪枝权重的权重值调整所述剪枝后的预设神经网络模型中各未剪枝权重的权重值，具体包括：

根据所述已剪枝权重的权重值，确定已剪枝权重的已剪枝权重标准差以及已剪枝权重均值；

根据所述已剪枝权重标准差、已剪枝权重均值以及所述预设调节参数，调整所述所述剪枝后的预设神经网络模型中各未剪枝权重的权重值。

5.根据权利要求1所述的方法，其特征在于，所述根据预设剪枝阈值对预设神经网络模型进行剪枝，并基于已剪枝权重的权重值调整未剪枝权重的权重值，生成剪枝神经网络模型，具体包括：

根据预设剪枝阈值对所述预设神经网络模型进行剪枝，并基于已剪枝权重的权重值调整未剪枝权重的权重值，得到初始剪枝神经网络模型；

获取训练样本以及所述训练样本的原始标签；

通过所述初始剪枝神经网络模型，确定所述训练样本的生成标签；

基于所述生成标签以及所述原始标签，调整所述预设剪枝阈值，并继续执行根据所述调整后的预设剪枝阈值对预设神经网络模型进行剪枝，并基于已剪枝权重的权重值调整未剪枝权重的权重值，得到新的剪枝神经网络模型的步骤，直至所述新的剪枝神经网络模型满足预设条件，得到所述剪枝神经网络模型。

6.根据权利要求5所述的方法，其特征在于，根据预设剪枝阈值对所述预设神经网络模型进行剪枝，具体包括：

将所述预设神经网络模型中各权重的初始权重值按照预设顺序排序，得到初始权重值序列；以及

根据预设剪枝比例和所述预设神经网络模型的总分支数量，确定剪枝数量；

通过所述剪枝数量和所述初始权重值序列，获取相应的所述预设剪枝阈值；

将所述预设神经网络模型中小于所述预设剪枝阈值的所述初始权重值置零。

7.一种神经网络模型的剪枝装置，其特征在于，所述装置包括：

剪枝模块，用于根据预设剪枝阈值对预设神经网络模型进行剪枝，并基于已剪枝权重的权重值调整所述剪枝后的预设神经网络模型中未剪枝权重的权重值，生成剪枝神经网络模型；

重训练模块，用于对所述剪枝神经网络模型进行重训练，得到目标神经网络模型。

8.根据权利要求7所述的装置，其特征在于，所述重训练模块具体包括：参数调整单元、重训练单元；

所述参数调整单元用于将所述剪枝神经网络模型进行重训练得到对应的损失函数，以并根据所述损失函数调整所述预设调节参数；以及用于根据调整后的预设调节参数以及所述已剪枝权重的权重值，再次调整所述未剪枝权重的权重值，并生成下一剪枝神经网络模型；

所述重训练单元用于继续执行将下一剪枝神经网络模型进行重训练得到损失函数的步骤，直至所述剪枝神经网络模型满足第一预设条件，得到所述目标神经网络模型。