[发明专利]基于剪枝阈值自动搜索的深度神经网络模型压缩方法

权利要求书

1.一种基于剪枝阈值自动搜索的深度神经网络模型压缩方法，其特征在于，包括如下步骤：

S1：对待压缩处理的原始网络模型进行模型训练，得到用于剪枝的初始模型；

S2：对模型参数进行自适应网格搜索得到第一剪枝阈值；

S3：结合二分搜索法对第一剪枝阈值对应的阈值区间进一步搜小，寻找更优阈值大小，得到第二剪枝阈值；

其中，第一剪枝阈值对应的阈值区间为[V₁^*，V₁^*+σ)，V₁^*表示第一剪枝阈值，σ表示自适应网格搜索的搜索步长，即间隔值；

S4：基于第二剪枝阈值对初始模型进行迭代剪枝处理：

S41：将小于第二剪枝阈值的参数权重置零，得到当前剪枝后的网络模型；

S42：对当前剪枝后的网络模型进行重训练；

S43：判断当前重训练后的网络模型是否存在小于第二剪枝阈值的参数权重，若是，继续执行步骤S41；否则，基于当前重训练后的网络模型得到迭代剪枝处理后的网络模型；

S5：稀疏存储迭代剪枝处理后的网络模型。

2.如权利要求1所述的方法，其特征在于，步骤S2包括如下步骤：

S21：设定模型的准确率下降阈值θ_a；

S22：获取模型的所有参数权重W，并计算参数权重的绝对值最大值|W_max|和最小值|W_min|；

S23：设定阈值间隔大小N，在参数权重的绝对值最大和最小值之间进行等间隔划分，得到阈值间隔值n₀：

S24：以n₀为间隔值得到多个测试阈值：

S25：测试每个测试阈值对应的模型准确率，在准确率下降范围不超过给定阈值θ_a的情况下，通过网格搜索得到最优剪枝阈值V_threshold；

其中，

其中，M表示参数权重W对应的模型参数掩模，掩模值0或1分别表示对参数权重W进行剪枝或保留，W⊙Mⁿ表示剪枝后的参数值，A(·)为在给定参数下网络模型的准确率函数。

3.如权利要求1所述的方法，其特征在于，步骤S3包括如下步骤：

S31：将第一剪枝阈值对应的阈值区间[V₁^*，V₁^*+σ)的中值作为初始临时第二剪枝阈值

S32：基于当前临时第二剪枝阈值对初始模型进行剪枝处理，判断剪枝处理后的网络模型准确率的下降值是否不超过给定阈值，若是，则执行步骤S34；否则执行步骤S33；

S33：判断是否大于预置的二分误差值，若是，将新的阈值区间的中值作为新的临时第二剪枝阈值并执行步骤S32；

若否，将作为最后得到的第二剪枝阈值；

S34：判断是否大于预置的二分误差值，若是，将新的阈值区间的中值作为新的临时第二剪枝阈值并执行步骤S32；

若否，将作为最后得到的第二剪枝阈值。