[发明专利]一种神经网络裁剪方法、装置、设备及存储介质

权利要求书

1.一种神经网络裁剪方法，其特征在于，包括：

确定待裁剪神经网络中待裁剪卷积核的卷积核参数间的相关性；

根据所述待裁剪卷积核的卷积核参数间的相关性，确定所述待裁剪卷积核对应的裁剪掩模；

根据所述待裁剪卷积核对应的裁剪掩模，对所述待裁剪卷积核的卷积核参数进行裁剪。

2.根据权利要求1所述的神经网络裁剪方法，其特征在于，所述确定待裁剪神经网络中待裁剪卷积核的参数间的相关性，包括：

通过对所述待裁剪卷积核的卷积核参数进行处理，确定所述待裁剪卷积核对应的自注意力矩阵，其中，所述待裁剪卷积核对应的自注意力矩阵能够表征所述待裁剪卷积核的卷积核参数间的相关性。

3.根据权利要求2所述的神经网络裁剪方法，其特征在于，所述通过对所述待裁剪卷积核的卷积核参数进行处理，确定所述待裁剪卷积核对应的自注意力矩阵，包括：

将所述待裁剪卷积核处理成二维矩阵，其中，所述二维矩阵的行数为所述待裁剪卷积核的通道数，所述二维矩阵的每一行为所述待裁剪卷积核的一个通道的卷积核参数；

对所述二维矩阵进行转置，以得到所述二维矩阵的转置矩阵；

用所述二维矩阵右乘所述二维矩阵的转置矩阵，得到的矩阵作为所述待裁剪卷积核对应的自注意力矩阵。

4.根据权利要求2所述的神经网络裁剪方法，其特征在于，所述根据所述待裁剪卷积核的卷积核参数间的相关性，确定所述待裁剪卷积核对应的裁剪掩模，包括：

将所述裁剪卷积核对应的自注意力矩阵处理成与所述待裁剪卷积核尺寸相同、且每个元素的取值均在预设范围内的矩阵，作为所述待裁剪卷积核对应的裁剪掩模。

5.根据权利要求4所述的神经网络裁剪方法，其特征在于，所述将所述裁剪卷积核对应的自注意力矩阵处理成与所述待裁剪卷积核尺寸相同、且每个元素的取值均在预设范围内的矩阵，作为所述待裁剪卷积核对应的裁剪掩模，包括：

对所述待裁剪卷积核对应的自注意力矩阵，以列为单位进行归一化处理，得到的矩阵作为第一归一化矩阵；

对所述第一归一化矩阵的每一行进行求和处理，得到求和后矩阵；

对所述求和后矩阵，以整个矩阵对单位进行归一化处理，得到的矩阵作为第二归一化矩阵；

将所述第二归一化矩阵处理成与所述待裁剪卷积核尺寸相同的矩阵，作为所述待裁剪卷积核对应的裁剪掩模。

6.根据权利要求1所述的神经网络裁剪方法，其特征在于，所述根据所述待裁剪卷积核对应的裁剪掩模，对所述待裁剪卷积核的卷积核参数进行裁剪，包括：

针对所述待裁剪卷积核对应的裁剪掩模中的每个元素，若该元素小于预设的裁剪阈值，则将所述待裁剪卷积核中与该元素对应的卷积核参数裁剪掉。

7.根据权利要求6所述的神经网络裁剪方法，其特征在于，所述将所述待裁剪卷积核中与该元素对应的卷积核参数裁剪掉，包括：

将所述待裁剪卷积核中与该元素对应的卷积核参数置0。

8.根据权利要求1～7中任一项所述的神经网络裁剪方法，其特征在于，所述确定待裁剪神经网络中待裁剪卷积核的卷积核参数间的相关性，包括：

在所述待裁剪神经网络的整个训练过程中，或者，所述待裁剪神经网络的整个训练过程中的指定阶段，所述待裁剪神经网络每完成一次参数更新后，确定待裁剪神经网络中待裁剪卷积核的卷积核参数间的相关性。

9.一种神经网络裁剪装置，其特征在于，包括：卷积核参数相关性确定模块、裁剪掩模确定模块和卷积核裁剪模块；

所述卷积核参数相关性确定模块，用于确定待裁剪神经网络中待裁剪卷积核的卷积核参数间的相关性；

所述裁剪掩模确定模块，用于根据所述待裁剪卷积核的卷积核参数间的相关性，确定所述待裁剪卷积核对应的裁剪掩模；

所述卷积核裁剪模块，用于根据所述待裁剪卷积核对应的裁剪掩模，对所述待裁剪卷积核的卷积核参数进行裁剪。