[发明专利]一种神经网络裁剪方法、装置、设备及存储介质

说明书

本申请提供了一种神经网络裁剪方法、装置、设备及存储介质，其中，方法包括：确定待裁剪神经网络中待裁剪卷积核的卷积核参数间的相关性；根据待裁剪卷积核的卷积核参数间的相关性，确定待裁剪卷积核对应的裁剪掩模；根据待裁剪卷积核对应的裁剪掩模，对待裁剪卷积核的卷积核参数进行裁剪。由于本申请提供的裁剪方法不会破坏原有的神经网络的网络参数的结构化信息，因此，通过本申请提供的裁剪方法裁剪得到的神经网络能够部署到大多数硬件平台中，而不需要额外专门的硬件去支持，另外，本申请根据待裁剪卷积核对应的裁剪掩模，对待裁剪卷积核的卷积核参数进行裁剪，而非直接将整个卷积核或者整个通道裁减掉，实现了神经网络的精细化裁剪。

技术领域

本申请涉及网络裁剪技术领域，尤其涉及一种神经网络裁剪方法、装置、设备及存储介质。

背景技术

近年来，深度学习技术在图像识别、语音识别、自然语言处理等领域取得了显著的效果。然而，由于深度神经网络巨大的参数量，使得其在很多场景下很难落地使用，比如，嵌入式系统、手机端。为了解决该问题，目前比较流行的方法有网络模型搜索、网络模型量化、网络模型裁剪，其中，网络模型裁剪因为简单、可靠、成熟等优点而被大量使用。

目前的网络模型裁剪主要为权重裁剪，权重裁剪是一种精细化的裁剪方式，其将网络参数中值趋近于0的独立参数裁剪掉，这种方法可以最大限度的裁剪神经网络参数，但是，由于裁剪的参数是随机的，使得网络参数分布不具有结构化信息，导致大多数硬件平台难以支持通过该方法裁剪的网络。

发明内容

有鉴于此，本申请提供了一种神经网络裁剪方法、装置、设备及存储介质，用以解决现有的神经网络裁剪方法破坏了原有的神经网络的网络参数的结构，导致大多数硬件平台难以支持裁剪后的网络的问题，其技术方案如下：

一种神经网络裁剪方法，包括：

确定待裁剪神经网络中待裁剪卷积核的卷积核参数间的相关性；

根据所述待裁剪卷积核的卷积核参数间的相关性，确定所述待裁剪卷积核对应的裁剪掩模；

根据所述待裁剪卷积核对应的裁剪掩模，对所述待裁剪卷积核的卷积核参数进行裁剪。

可选的，所述确定待裁剪神经网络中待裁剪卷积核的参数间的相关性，包括：

通过对所述待裁剪卷积核的卷积核参数进行处理，确定所述待裁剪卷积核对应的自注意力矩阵，其中，所述待裁剪卷积核对应的自注意力矩阵能够表征所述待裁剪卷积核的卷积核参数间的相关性。

可选的，所述通过对所述待裁剪卷积核的卷积核参数进行处理，确定所述待裁剪卷积核对应的自注意力矩阵，包括：

将所述待裁剪卷积核处理成二维矩阵，其中，所述二维矩阵的行数为所述待裁剪卷积核的通道数，所述二维矩阵的每一行为所述待裁剪卷积核的一个通道的卷积核参数；

对所述二维矩阵进行转置，以得到所述二维矩阵的转置矩阵；

用所述二维矩阵右乘所述二维矩阵的转置矩阵，得到的矩阵作为所述待裁剪卷积核对应的自注意力矩阵。

可选的，所述根据所述待裁剪卷积核的卷积核参数间的相关性，确定所述待裁剪卷积核对应的裁剪掩模，包括：

将所述裁剪卷积核对应的自注意力矩阵处理成与所述待裁剪卷积核尺寸相同、且每个元素的取值均在预设范围内的矩阵，作为所述待裁剪卷积核对应的裁剪掩模。

可选的，所述将所述裁剪卷积核对应的自注意力矩阵处理成与所述待裁剪卷积核尺寸相同、且每个元素的取值均在预设范围内的矩阵，作为所述待裁剪卷积核对应的裁剪掩模，包括：

对所述待裁剪卷积核对应的自注意力矩阵，以列为单位进行归一化处理，得到的矩阵作为第一归一化矩阵；