[发明专利]一种基于激活-熵权重剪枝的CNN模型压缩方法

权利要求书

1.一种基于激活-熵权重剪枝的CNN模型压缩方法，其特征在于，包括如下步骤：

(1)在基于激活-熵权值的重要性评判阶段：采用基于激活-熵的权重评判方法，将神经元激活值和信息熵结合计算权值重要性得分，以评价权值重要性；

(2)在面向层的迭代剪枝阶段：采用逐层剪枝，根据权值重要性的得分，遵循筛选-裁剪-微调步骤对每层神经元进行迭代剪枝，在保证模型精确度下有效压缩CNN模型。

2.根据权利要求1所述的一种基于激活-熵权重剪枝的CNN模型压缩方法，其特征在于，所述步骤(1)中在基于激活-熵权值的重要性评判阶段的具体步骤如下次：

采用基于激活-熵的权值重要性评判方法，根据数据集计算神经元的激活值期望与信息熵，计算基于激活-熵的重要性得分；

设i为上一层神经元的编号，j为当前层神经元的编号；W_j代表神经元j与上一层神经元连接的权重矩阵集合，W_j^T代表权重矩阵W_j的转置，上一层共有n个神经元，且上一层神经元的输出集合为X。w_i为神经元i和j之间连接的权重值；E代表期望，设激活函数为f(x)，如果激活函数为ReLU，根据神经网络前向传播公式，如果f(W_j^TX)＞0，选取一部分数据集来计算神经元j激活值的期望，得到：

将w_ix_i的值划分为D个区间，设p_i，z为w_ix_i的值分布在区间z中的概率，其中z＝1，...，D，计算得到w_ix_i的信息熵H_i为：

最后得到权值w_i基于激活-熵的重要性得分为：

score_i＝abs(E(w_ix_i)*H_i。

3.根据权利要求1所述的一种基于激活-熵权重剪枝的CNN模型压缩方法，其特征在于，所述步骤(2)中在面向层的迭代剪枝阶段的具体步骤如下：

(2.1)单层剪枝：设初始CNN模型，并对其中每层设定单独的剪枝率，筛选重要性得分低的权值，对每层的剪枝采用迭代的方式进行，每一轮遵循了筛选-裁剪-微调的步骤；

(2.2)逐层剪枝：对n层待剪枝的全连接层进行单层剪枝操作；并得到压缩后的CNN模型。

4.根据权利要求3所述的一种基于激活-熵权重剪枝的CNN模型压缩方法，其特征在于，所述步骤(2.1)中单层剪枝的具体步骤如下：

设初始CNN模型E，需要剪枝的全连接层分别为1，2，...，n，各层设置剪枝率为pruning₁，pruning₂，...，pruning_n，各层迭代次数为I₁，I₂，…，I_n，各层权重矩阵为W¹，W²，…，Wⁿ；设模型第m层共包含N_m个权重，且该层的剪枝率为pruning_m，可以指定最大迭代次数为I_m，则每轮需要剪掉的权重数量为：

从训练集中选取部分样本，迭代I_n次进行计算权值重要性得分；迭代完成后根据重要性得分对权值进行排序，并根据确定的剪枝数量Δs_m，将被裁减的权值置为0；剪枝完成后进行微调模型，保护模型精度；

若原模型中共有N个权重，在剪枝过程中一共裁剪掉的权重百分占比为P，则剪枝后模型的压缩率为：

剪枝后的神经元之间的连接变的稀疏，使用稀疏矩阵存储模型的权重。

5.根据权利要求3所述的一种基于激活-熵权重剪枝的CNN模型压缩方法，其特征在于，所述步骤(2.1)中单层剪枝的具详细步骤如下：

(2.1.1)确定参数，设训练好初始CNN模型E，需要剪枝的全连接层分别为1，2，…，n，各层设置剪枝率为pruning₁，pruning₂，…，pruning_n，各层迭代次数为I₁，I₂，…，I_n，各层权重矩阵为W¹，W²，…，Wⁿ；

(2.1.2)激活：设i为上一层神经元的编号，j为当前层神经元的编号；W_j代表神经元j与上一层神经元连接的权重矩阵集合，W_j^T代表权重矩阵W_j的转置，上一层共有n个神经元，且上一层神经元的输出集合为X。w_i为神经元i和j之间连接的权重值；设激活函数为f(x)，如果激活函数为ReLU，根据神经网络前向传播公式，如果f(W_j^TX)＞0，得到神经元j的激活值为：

选取一部分数据集来计算神经元j激活值的期望，得到：

(2.1.3)信息熵：为了计算w_ix_i的信息熵，将w_ix_i的值划分为D个区间，设p_i，z为w_ix_i的值分布在区间z中的概率，其中z＝1，...，D，计算得到w_ix_i的信息熵Hi为：

(2.1.4)激活-熵：按照步骤(2.1.2)和(2.1.3)中的计算，将激活值与熵结合起来，最后得到权值w_i基于激活-熵的重要性得分为：

score_i＝abs(E(w_ix_i)*H_i

重要性得分score_i可以用来衡量权值的重要性，得分越高，则权值在模型中的重要性也越高，在剪枝时应该优先裁剪掉重要性得分较低的权值；

设模型第m层共包含N_m个权重，且该层的剪枝率为pruning_m，指定最大迭代次数为I_m，则每轮需要剪掉的权重数量为：

从训练集中选取部分样本，计算每个权值的重要性得分；迭代N_m次进行计算权值；迭代完成后根据重要性得分对权值进行排序，并根据确定的剪枝数量Δs_m，将被裁减的权值置为0；

(2.1.5)微调模型：在每轮迭代完成后还需要通过微调模型来补偿精度损失，在微调过程中设置学习率α，在整个训练集上重新训练，在微调过程中被裁剪的权重梯度值不会被更新，微调有效的补偿了剪枝带来的精度损失；

(2.1.6)稀疏权重存储：

若原模型中共有N个权重，在剪枝过程中一共裁剪掉的权重百分占比为P，则剪枝后模型的压缩率为：

由于剪枝后神经元之间的连接变的稀疏，通常使用稀疏矩阵来存储模型的权重采用CSR格式存储权重矩阵。