[发明专利]神经网络压缩方法、装置、设备及计算机可读存储介质

说明书

本发明公开了一种神经网络压缩方法、装置、设备及计算机可读存储介质，所述方法包括：对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值；将所述池化值进行整型量化操作得到整型值；将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩。本发明减轻了设备运行神经网络时的负担，从而使得算力有限的边缘设备也能够运行神经网络。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种神经网络压缩方法、装置、设备及计算机可读存储介质。

背景技术

随着神经网络技术的发展，神经网络已被应用于各种领域解决许多现代计算机难以解决的实际问题，如在模式识别、智能机器人、自动控制、生物、医学和经济等领域，均已广泛出现神经网络的身影。随之而来的一个问题是，随着所解决的实际问题的复杂化，神经网络的模型结构也越来越复杂，一个深度神经网络可能包含数以百万计甚至千万计的参数和十几层甚至几十层的网络。而由于神经网络参数众多，通常需要非常大的计算代价和存储空间，从而难以在一些算力有限的边缘设备中运行神经网络，使得神经网络的应用存在一定的局限性。

发明内容

本发明的主要目的在于提供一种神经网络压缩方法、装置、设备及计算机可读存储介质，旨在解决现有神经网络参数众多，从而难以在算力有限的边缘设备中运行神经网络的问题。

为实现上述目的，本发明提供一种神经网络压缩方法，所述方法包括以下步骤：

对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值；

将所述池化值进行整型量化操作得到整型值；

将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩。

可选地，所述对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值的步骤包括：

对待压缩神经网络中的卷积核按照所述卷积核的尺寸进行平均池化操作或最大池化操作，得到所述卷积核对应的池化值。

可选地，所述目标值为预设第一数值，所述将所述池化值进行整型量化操作得到整型值的步骤包括：

检测所述池化值是否大于零；

若所述池化值小于或等于零，则将所述预设第一数值作为所述池化值对应的整型值；

若所述池化值大于零，则将预设第二数值作为所述池化值对应的整型值。

可选地，所述将所述卷积核中整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩的步骤之后，还包括：

获取所述待压缩神经网络中全连接层的输出数据，其中，所述输出数据为将预设数据集输入所述待压缩神经网络后，通过所述全连接层得到的；

对所述输出数据的各元素分别进行整型量化操作得到整型值；

将所述输出数据各元素中对应整型值为所述目标值的元素作为目标元素，将所述目标元素所关联的所述全连接层中的神经元进行裁剪，以对所述待压缩神经网络进行压缩。

可选地，所述对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值的步骤之前，还包括：

获取本轮模型更新的基准神经网络，将所述基准神经网络的副本作为所述待压缩神经网络；

所述将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩的步骤之后，还包括：

将压缩后的待压缩神经网络作为压缩网络，并采用预设数据集对所述压缩网络进行模型参数更新，得到更新后的压缩网络；