[发明专利]基于离散余弦变换通道重要性得分的剪枝方法

权利要求书

1.基于离散余弦变换通道重要性得分的剪枝方法，其特征在于，包括如下步骤：

S1，从模型训练集中选择N张图片作为输入数据，输入到待剪枝的神经网络模型中处理，得到各层的输出特征图，N为正整数；

S2，利用离散余弦变换将提取的特征图从空间域转到频域中，得到各个特征图对应的频率系数矩阵；

S3，根据待剪枝的神经网络模型中每个通道所对应的频率系数矩阵，计算各层中每个通道的重要性得分；

S4，计算N张图片作为输入的平均通道重要性得分，将每层的通道上所有的平均重要性得分作为该层最终的通道重要性得分；

S5，将待剪枝的神经网络模型中每一层的通道，根据步骤S4中的通道重要性得分进行排列，按照设定的剪枝率优先移除重要性得分较低的通道，完成对待剪枝的神经网络模型的通道剪枝，得到剪枝后的目标模型；

S6，利用保留通道的权重初始化目标模型进行调优训练，直到目标模型收敛。

2.根据权利要求1所述的基于离散余弦变换通道重要性得分的剪枝方法，其特征在于，在步骤S1中，从模型训练集中选择的N张图片带有在模型训练集上所学到的数据分布，基于模型本身和所学到的数据分布在待剪枝的神经网络模型中处理，从而得到各层的输出特征图。

3.根据权利要求1或2任一所述的基于离散余弦变换通道重要性得分的剪枝方法，其特征在于，在步骤S1中，在待剪枝的神经网络模型各层的输出节点上插入一个hook函数，hook函数在各层的输出节点处得到当前层的输出特征图，即得到待剪枝的神经网络模型各层的输出特征图。

4.根据权利要求3所述的基于离散余弦变换通道重要性得分的剪枝方法，其特征在于，在步骤S1中，将所述hook函数插入到模型每一层的输出节点上，且插入的hook函数仅用于记录下该输出节点的特征图，然后将记录下来的特征图按照其所在的层和通道存储在对应的容器中，以供后续计算使用。

5.根据权利要求4所述的基于离散余弦变换通道重要性得分的剪枝方法，其特征在于，在步骤S2中，将步骤S1中利用hook函数得到的输出特征图进行离散余弦变换，其变换公式如下：

式中，代表神经网络中第i层的第t个通道输出的特征图在离散余弦变换后得到的频率系数矩阵，DCT()代表离散余弦变换，代表网络中第i层的第t个通道输出的特征图，和则分别代表频率系数矩阵的行数和列数，代表离散余弦变换得到的频域特征图。

6.根据权利要求5所述的基于离散余弦变换通道重要性得分的剪枝方法，其特征在于，在步骤S3中，将步骤S2中得到的频率系数矩阵中的每个系数值取平方，再将平方后的值全部相加，相加得到的和则称为该通道的重要性得分，计算公式如下：

上式中，代表神经网络中第i层的第t个通道的通道重要性，h和w分别代表频率系数矩阵的行数和列数，则表示在所述系数矩阵中位于(x,y)上的系数值，x代表二维矩阵的横坐标，y代表二维矩阵的纵坐标。

7.根据权利要求1或6任一所述的基于离散余弦变换通道重要性得分的剪枝方法，其特征在于，在步骤S5中，以待剪枝的神经网络模型中每一层为单位，将该层的所有通道的通道重要性得分进行降序排列，得到通道重要性排序，排在前列的即为重要性较高的通道，而排序较低的通道应优先移除，根据提前设置的剪枝率而定，优先移除不重要的通道得到剪枝后的目标模型。