[发明专利]一种模型剪枝方法及系统

权利要求书

1.一种模型剪枝方法，其特征在于，包括：

步骤S1，获取待剪枝的神经网络模型，并计算所述神经网络模型中每个卷积层包含的各卷积核的重要度；

步骤S2，根据预设的总剪枝率和所述神经网络模型中包含的所述卷积层的层数处理得到所述神经网络模型中各所述卷积层的层间稀疏率，并根据各所述层间稀疏率和各所述重要度分别对各所述卷积层进行剪枝得到剪枝后模型。

2.根据权利要求1所述的模型剪枝方法，其特征在于，所述步骤S1包括：

步骤S11，将各所述卷积层的卷积层参数分别从四维张量转换成二维矩阵，每个所述二维矩阵中每行各元素的元素值分别表示对应的所述卷积层中的每个所述卷积核的卷积核参数；

步骤S12，分别计算所述二维矩阵中各列所述卷积核参数的均值，并根据各所述卷积核参数和所述均值分别处理得到每个所述卷积层中各所述卷积核两两之间的余弦距离；

步骤S13，根据各所述余弦距离处理得到每个所述卷积层中各所述卷积核的所述重要度。

3.根据权利要求2所述的模型剪枝方法，其特征在于，所述步骤S12中，根据以下公式处理得到所述余弦距离：

其中，

其中，D_cos(A,B)用于表示卷积核A和卷积核B之间的所述余弦距离，A_u用于表示所述卷积核A所在行的第u列的所述卷积核参数，B_u用于表示所述卷积核B所在行的第u列的所述卷积核参数，l_i用于表示所述二维矩阵的总列数，Avg_u用于表示所述二维矩阵的第u列的各所述卷积核参数的所述均值，n用于表示所述二维矩阵的总行数，W_j(u)用于表示所述二维矩阵的第j行第u列的所述卷积核参数。

4.根据权利要求2所述的模型剪枝方法，其特征在于，所述步骤S13中，根据以下公式处理得到所述重要度：

其中，Im_i,j用于表示所述神经网络模型中的第i个卷积层第j个卷积核的所述重要度，用于表示第i个卷积层第j个卷积核与第i个卷积层第k个卷积核之间的余弦距离，n用于表示所述二维矩阵的总行数。

5.根据权利要求1所述的模型剪枝方法，其特征在于，所述步骤S2包括：

步骤S21，根据所述总剪枝率和所述层数并基于元启发式算法随机生成各所述卷积层的初始剪枝率，并将所述初始剪枝率作为当前层间剪枝率；

步骤S22，针对所述神经网络模型中每个所述卷积层，根据对应的所述当前剪枝率确定所述卷积层中需剪枝的卷积核的总数量，并按照所述重要度从低到高的顺序剪枝所述总数量的所述卷积核，以得到当前剪枝模型，随后记录一次迭代次数；

步骤S23，统计所述迭代次数是否达到预设的迭代阈值：

若是，则将各所述当前层间剪枝率作为所述层间稀疏率，并将所述当前剪枝模型作为所述剪枝后模型输出，随后退出；

若否，则转向步骤S24；

步骤S24，将所述当前剪枝模型的交叉熵损失函数配置为所述元启发式算法的适应度函数，以对所述元启发式算法进行参数更新，随后根据更新后的所述元启发式算法对所述总剪枝率和所述层数进行处理得到各所述卷积层的优化剪枝率，并将所述优化剪枝率作为所述当前剪枝率，随后返回所述步骤S22。

6.一种模型剪枝系统，其特征在于，应用如权利要求1-5中任意一项所述的模型剪枝方法，所述模型剪枝系统包括：

重要度计算模块，用于获取待剪枝的神经网络模型，并计算所述神经网络模型中每个卷积层包含的各卷积核的重要度；

模型剪枝模块，连接所述重要度计算模块，用于根据预设的总剪枝率和所述神经网络模型中包含的所述卷积层的层数处理得到所述神经网络模型中各所述卷积层的层间稀疏率，并根据各所述层间稀疏率和各所述重要度分别对各所述卷积层进行剪枝得到剪枝后模型。