[发明专利]一种基于全局特征关系的卷积神经网络压缩方法

权利要求书

1.一种基于全局特征关系的卷积神经网络压缩方法，包括以下步骤：

步骤1：在卷积神经网络模型的BN层后加入GFR子模块，对网络模型进行稀疏化处理；

步骤2：重新训练模型，提取各个通道的关系因子sr和BN层的尺度因子γ；

步骤3：对每个通道的重要性程度进行评估，然后根据通道的重要性程度对所有通道进行排序；

步骤4：根据每个通道的重要性程度，使用快速压缩方法对模型进行压缩。

2.如权利要求1所述的一种基于全局特征关系的卷积神经网络压缩方法，其特征在于，所述步骤1中，GFR子模块包含三个操作：

(1)压缩操作：将每个通道矩阵c_t∈R^H×W映射为单个信号z_t，其中H和W分别为通道矩阵的高和宽，采用全局平均池化完成，计算方式为：其中c_t(i,j)表示通道矩阵c_t中第i行第j列对应的元素；

(2)学习操作：将BN层各通道对应的信号z作为输入，使用两个全连接层学习同一层通道之间的相互关系s，计算方式为：s＝σ(W₂δ(W₁z))，其中σ表示ReLU激活函数，W₁和W₂分别是第一层和第二层全连接层的权重矩阵，δ表示Sigmoid激活函数；相比信号z，通道关系s由同一层的通道做信息交互产生，以获得更高的感受野，且感受野只能局限在当前批次的数据集上；

(3)固定操作：对数据集上所有批次数据产生的通道关系s进行移动平均计算，进一步提高数据的感受野，并使每个通道对应一个唯一的信号值sr，所述信号值sr用来衡量它对应的通道与其它通道的关系，计算方式为：sr＝αs_i+(1-α)s_i-1，其中α为权重，设置为0.98，s_i表示第i个批次数据产生的通道关系s，sr具有整个数据集上的全局感受野。

3.如权利要求1所述的一种基于全局特征关系的卷积神经网络压缩方法，其特征在于，所述步骤2中，通道的关系因子来源于GFR子模块，尺度因子γ来源于BN层，BN层的处理方式为：其中c_out为BN层的输出，c_in表示BN层的输入，μ为该数据批次上通道的均值，σ表示该数据批次上通道的标准差，γ为通道对应的尺度因子，β为偏移因子，∈用来保证σ大于0，设置为0.0001。

4.如权利要求1所述的一种基于全局特征关系的卷积神经网络压缩方法，其特征在于，所述步骤3中，结合通道的关系因子sr和尺度因子γ，对每个通道的重要性进行评估，得到通道的重要性评分ci，计算方式为：ci＝sr·γ。

5.如权利要求1所述的一种基于全局特征关系的卷积神经网络压缩方法，其特征在于，所述步骤4中，使用网格搜索技术和通道剪枝方法，流程为：

(1)设定超参数，包括训练使用的数据集，起始剪枝比例ts％，剪枝比例增长幅度step，测试集中每个批次包含的数据量，精度丢失容忍度ta；

(2)列出目前模型中存在的所有通道，并根据每个通道对应的重要性评分ci，对他们进行从小到大排序；

(3)保存上一次剪枝后的模型，将其标记为model_last，如果还未进行剪枝，则保存原始模型；

(4)删除原始模型中排序在前ts％的通道，得到新的网络模型model_new；

(5)增加剪枝通道的比例，增长幅度由超参数step控制，增加方式为：ts＝ts+step；

(6)在测试集上对model_new进行测试，记录其识别精度accuracy，并计算其相比未剪枝前的精度损失,将该损失值记为accuracy loss；

(7)将精度损失值与超参数精度丢失容忍度进行比较，如果accuracy lossta，则回到(3),否则进入(8)；

(8)将(3)中保存的模型model_last作为给定约束条件下的最优剪枝结果。