[发明专利]一种卷积神经网络中的启发式滤波器剪枝方法和系统

权利要求书

1.一种卷积神经网络中的启发式滤波器剪枝方法，其特征在于，具体包括如下步骤：

(1)获取卷积神经网络的每个卷积层的每个滤波器在该卷积神经网络的第j个时期和第j-off个时期之间的调整余弦相似度其中i为卷积神经网络中卷积层的序号，且有i∈[1，卷积神经网络中卷积层的总数]，k为卷积层中滤波器的序号，且有k∈[1，卷积层中滤波器的总数]，j＞off，off是预设阈值；

(2)针对卷积神经网络的第一个卷积层而言，基于步骤(1)得到的该卷积层中所有滤波器在该卷积神经网络的第j个时期和第j-off个时期之间的调整余弦相似度并依照调整余弦相似度从小到大的顺序对所有滤波器进行排列，并按照预设的剪枝率对排序后的滤波器进行软剪枝；

(3)对于卷积神经网络的剩余卷积层而言，重复上述步骤(2)，直至所有卷积层都被软剪枝完毕为止，从而得到软剪枝更新后的卷积神经网络；

(4)对软剪枝更新后的卷积神经网络进行off+1个时期的重建，以得到重建后的卷积神经网络；

(5)设置j＝j+off+1，重复上述步骤(1)至步骤(4)，并判断重建后的卷积神经网络的网络精度是否趋于稳定，如果是，则表示已经得到软剪枝稳定后的卷积神经网络，然后进入步骤(6)，否则继续重复本步骤；

(6)获取软剪枝稳定后的卷积神经网络的每个卷积层的每个滤波器在该卷积神经网络的第j+off+1个时期和第j+1个时期之间的调整余弦相似度

(7)针对软剪枝稳定后的卷积神经网络的第一个卷积层而言，基于步骤(6)得到的该卷积层中所有滤波器在该卷积神经网络的第j+off+1个时期和第j+1个时期之间的调整余弦相似度并依照调整余弦相似度从小到大的顺序对所有滤波器进行排列，并按照预设的剪枝率对排序后的滤波器进行硬剪枝；

(8)对于软剪枝稳定后的卷积神经网络的剩余卷积层而言，重复上述步骤(7)，直至所有卷积层都被硬剪枝完毕为止，从而得到硬剪枝更新后的卷积神经网络；

(9)对硬剪枝更新后的卷积神经网络进行微调，直至微调后的卷积神经网络的网络精度达到稳定值，从而得到剪枝后的卷积神经网络。

2.如权利要求1所述的卷积神经网络中的启发式滤波器剪枝方法，其特征在于，每个卷积层的每个滤波器在该卷积神经网络第j个时期和第j-off个时期之间的调整余弦相似度是按照如下子步骤计算的：

(1-1)分别获取卷积神经网络每个卷积层的每个滤波器在第j个时期后的张量参数(以下称为第一张量参数)以及每个卷积层的每个滤波器在第j-off个时期后的张量参数(以下称为第二张量参数)并根据每个卷积层的所有滤波器在两个时期后的张量参数获得该卷积层的平均张量参数Mⁱ；

(1-2)使用步骤(1-1)得到的每个卷积层的平均张量参数Mⁱ分别对第一张量参数和第二张量参数进行修正，以得到对应于该卷积层的每个滤波器的、修正后的第一张量参数和第二张量参数

(1-3)根据对应于每个卷积层的每个滤波器的、修正后的第一张量参数和第二张量参数获取该卷积层的每个滤波器在该卷积神经网络的第j个时期和第j-off个时期之间的调整余弦相似度。

3.如权利要求2所述的卷积神经网络中的启发式滤波器剪枝方法，其特征在于，每个卷积层的平均张量参数Mⁱ为：

其中，O_i是第i个卷积层的滤波器的总数，k∈[1，O_i]。

4.如权利要求2所述的卷积神经网络中的启发式滤波器剪枝方法，其特征在于，每个卷积层的每个滤波器的、修正后的第一张量参数和第二张量参数为：

5.如权利要求2所述的卷积神经网络中的启发式滤波器剪枝方法，其特征在于，每个卷积层的每个滤波器在该卷积神经网络的第j个时期和第j-off个时期之间的调整余弦相似度为：

其中||||表示计算L2范数。

6.如权利要求1所述的卷积神经网络中的启发式滤波器剪枝方法，其特征在于，软剪枝操作是对滤波器的权值参数进行置零；硬剪枝操作是将滤波器删除。