[发明专利]一种基于滤波器注意力机制和BN层缩放系数的动态结构化网络剪枝方法

摘要

本发明公开了一种基于滤波器注意力机制和BN层缩放系数的动态结构化网络剪枝方法，具体利用了本发明提出的滤波器注意力机制和BN层缩放系数动态地选择冗余滤波器，对神经网络动态置零，得到训练收敛后的模型参数。根据训练收敛后的模型参数，结合本发明提出的硬剪枝方法，最终得到压缩后的神经网络，有效地降低了神经网络的存储空间，提高了神经网络的推理计算速度。

主权项

1.一种基于滤波器注意力机制和BN层缩放系数的动态结构化网络剪枝方法，其特征在于：利用结构化剪枝准则，动态裁剪卷积神经网络每层的滤波器，得到收敛后的网络模型，并根据收敛后的网络模型进行硬剪枝，得到压缩后的网络，具体步骤为：S1：利用滤波器注意图函数F得到滤波器注意力图，并根据滤波器的注意力重要性函数M，得到滤波器一级判断指标；S2：利用BN层的缩放系数得到滤波器的二级判断性指标；S3：综合利用滤波器的一级判断性指标和二级判断性指标对每层卷积层中的滤波器的重要性从小到大排序，选取前P的滤波器作为冗余滤波器；S4：根据得到的冗余滤波器的索引对这些冗余滤波器和相应的BN层偏置系数置零；S5：根据SGD算法对所有的神经网络参数更新，将之前置零的冗余滤波器和相应的BN层偏置系数再次恢复，在下一个Epoch之前，再次计算滤波器的一级判断性指标和二级判断性指标，根据滤波器的一级判断性指标和二级判断性指标再次选取每层卷积层的冗余滤波器，对重新判定的冗余滤波器和相应的BN层缩放系数置零；S6：重复步骤S1至S5,直到神经网络收敛，得到模型参数；S7：根据模型参数，对网络进行硬剪枝。