[发明专利]用于压缩神经网络模型的方法及装置、设备和介质

权利要求书

1.一种用于标签预测的神经网络模型的压缩方法，包括：

获取训练好的第一神经网络模型，所述第一神经网络模型包括多个卷积通道和与每个卷积通道对应的批标准化通道，所述批标准化通道具有用于表示相应卷积通道的重要程度的重要性参数，其中，所述重要性参数是通过训练确定的，所述重要性参数为所述批标准化通道的参数，所述批标准化通道的所述参数的值越大，相应卷积通道的重要程度越高，第一神经网络模型通过重复执行以下训练操作直到所述第一神经网络模型的损失值不超过预设值而得到：

获取训练样本，所述训练样本包括数据和与所述数据对应的标签，所述数据包括文本、图像、视频、音频中的至少一者，所述标签为所述数据所属的类别；

将所述训练样本的所述数据输入所述第一神经网络模型，得到所述第一神经网络模型的预测输出标签；

基于所述预测输出标签、所述训练样本的所述标签、所述批标准化通道的所述重要性参数计算所述损失值；以及

基于所述损失值调整所述多个卷积通道的权值；

基于相应的重要性参数，从所述多个卷积通道的第一子集中确定至少一个次要通道；

确定所述多个卷积通道的第二子集中的卷积通道各自相应的冗余参数，所述冗余参数用于表示相应卷积通道的冗余程度，其中，所述冗余程度是基于卷积通道的权值向量与均值向量的接近程度来确定的，卷积通道的所述冗余程度与相应的冗余参数呈反比；

基于相应的冗余参数，从所述第二子集中确定至少一个冗余通道，包括：

确定目标压缩比例；

将所述目标压缩比例与所述第二子集所包括的卷积通道的数量相乘，以确定所述至少一个冗余通道的第二数量；以及

基于相应的冗余参数，将冗余程度最大的所述第二数量的卷积通道作为所述至少一个冗余通道；以及

基于剩余的卷积通道，构建压缩后的第二神经网络模型，其中，所述剩余的卷积通道为所述多个卷积通道中除所述至少一个次要通道和所述至少一个冗余通道以外的卷积通道，

其中，所述第一子集和所述第二子集各自均包括所述多个卷积通道。

2.根据权利要求1所述的方法，其中，在所述第一神经网络模型的训练过程中，至少基于各批标准化通道的重要性参数，计算损失函数。

3.根据权利要求1所述的方法，其中，所述第一子集包括所述多个卷积通道；

所述第二子集包括所述多个卷积通道中除所述至少一个次要通道以外的剩余卷积通道。

4.根据权利要求3所述的方法，在所述从所述多个卷积通道的第一子集中确定至少一个次要通道之后，所述方法还包括：

将所述至少一个次要通道的权值向量设置为0。

5.根据权利要求1所述的方法，所述第二子集包括所述多个卷积通道；

所述第一子集包括所述多个卷积通道中除所述至少一个冗余通道以外的剩余卷积通道。

6.根据权利要求1-5中任一项所述的方法，其中，所述基于相应的重要性参数，从所述多个卷积通道的第一子集中确定至少一个次要通道包括：

将所述第一子集中的相应的重要性参数小于第一阈值的卷积通道作为次要通道；和/或

将所述第一子集中的相应的重要性参数最小的第一数量的卷积通道作为次要通道。

7.根据权利要求1-5中任一项所述的方法，其中，所述确定所述多个卷积通道的第二子集中的卷积通道各自相应的冗余参数包括：

计算所述第二子集中的各卷积通道的权值向量的几何中位向量；

分别计算第二子集中的各卷积通道的权值向量到所述几何中位向量的距离；以及

将相应的所述距离确定为所述第二子集中的各卷积通道的冗余参数。

8.根据权利要求7所述的方法，其中，所述几何中位向量为与所述第二子集中的各卷积通道的权值向量的距离之和最小的向量。