[发明专利]卷积神经网络的裁剪、卷积计算方法及装置

说明书

提供一种卷积神经网络的裁剪、卷积计算方法及装置。该卷积神经网络的裁剪方法包括：遍历卷积神经网络的每个卷积层，执行以下步骤：基于卷积层的卷积参数获取输入通道卷积核切片；确定输入通道卷积核切片中相似的输入通道卷积核切片；基于相似的输入通道卷积核切片，确定用于替代相似的输入通道卷积核切片的替代切片；裁剪掉相似的输入通道卷积核切片，以替代切片替代被裁剪的输入通道卷积核切片，从而在不需要大量额外的参考结构来分别记录每个被裁剪掉的权重索引或位置、不影响卷积神经网络的权重的表现形式、并且不影响卷积神经网络的运行和功能的情况下，降低了卷积神经网络的空间复杂度和所需的存储空间。

技术领域

本公开涉及计算机技术领域。更具体地，本公开涉及一种卷积神经网络的裁剪、卷积计算方法及装置。

背景技术

近年来，基于卷积神经网络的深度学习在图像识别、语音识别、目标检测、图像语义分割等多个实际应用领域取得了广泛的成功。但深度卷积网络的表达能力越强，往往意味着网络模型的规模越大，其空间复杂度就越高，所占存储空间也就越大。这种情况无疑限制了高性能的深度卷积网络在存储受限的嵌入式设备中的部署应用，如手机、车载系统等。

Denil等人在2013年的文献《Predicting parameters in deep learning》中证实了深度神经网络结构事实上是冗余的，即可以通过一些权重压缩手段来减小深度神经网络的规模，同时不造成明显的精度损失。因此，人们提出了很多方法来对深度神经网络进行压缩。

其中，网络裁剪是使用较广泛的压缩方法之一。一般而言，在深度神经网络训练结束后，找到权值接近于0(或其他阈值)的权重，再裁剪掉这些权重在存储空间中的占用即可，但要记录被裁权重的索引以方便网络运行时能够正确执行。有时，还要对裁剪后的深度神经网络再继续训练若干次以修正结构变化带来的误差，一般称之为微调(fine-tune)。

Li等人在2017年的文献《Pruning Filters for Efficient ConvNets》中提到了卷积核中存在冗余通道的现象，即不同通道方向上的部分卷积核过滤器在训练后权重极为相似，这为卷积核的通道裁剪提供了一定理论基础。

图像识别是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。近年来，基于卷积神经网络的深度学习在图像识别领域取得了广泛的成功。但深度卷积神经网络的表达能力越强，往往意味着网络模型的规模越大，其空间复杂度就越高，所占存储空间也就越大。这种情况无疑限制了高性能的深度卷积神经网络在存储受限的嵌入式设备中的部署应用，如手机、车载系统等，进而影响图像识别的效率。

发明内容

本公开的示例性实施例在于提供一种卷积神经网络的裁剪、卷积计算方法及装置，以降低卷积神经网络的空间复杂度和所需的存储空间。

根据本公开的示例性实施例，提供一种卷积神经网络的裁剪方法，包括：遍历卷积神经网络的每个卷积层，执行以下步骤：基于卷积层的卷积参数获取输入通道卷积核切片；确定输入通道卷积核切片中相似的输入通道卷积核切片；基于相似的输入通道卷积核切片，确定用于替代相似的输入通道卷积核切片的替代切片；裁剪掉相似的输入通道卷积核切片，以替代切片替代被裁剪的输入通道卷积核切片。这样，通过利用卷积神经网络中的卷积核内部不同通道之间具有相似性这一特点，裁剪掉具备相似性的卷积核通道，并由替代卷积核通道替代被裁剪掉的相似的多个卷积核通道，从而在不需要大量额外的参考结构来分别记录每个被裁剪掉的权重索引或位置、不影响卷积神经网络的权重的表现形式、并且不影响卷积神经网络的运行和功能的情况下，降低了卷积神经网络的空间复杂度和所需的存储空间。

可选地，所述卷积神经网络的裁剪方法还可以包括：记录替代切片所替代的被裁剪的输入通道卷积核切片的索引值，从而通过索引值记录每个被裁剪的输入通道卷积核切片。