[发明专利]一种深度神经网络的压缩方法

权利要求书

1.一种深度神经网络的压缩方法，其特征在于，包括步骤：

S100，网络参数修剪：通过剪枝来修剪网络，删除冗余连接，保留信息量最大的连接；

S200，训练量化和权值共享：对权重进行量化，使多个连接共享相同的权重，并存储有效权重和索引；

S300，利用有效权值的偏置分布，使用霍夫曼编码获取压缩网络。

2.根据权利要求1所述的一种深度神经网络的压缩方法，其特征在于，在所述步骤S100中网络参数修剪，包括步骤：

S101，在权重剪枝的基础上，引入能量函数修剪卷积层；

S102，恢复误差大的权重；

S103，通过反向传播利用修剪后的权重微调网络。

3.根据权利要求2所述的一种深度神经网络的压缩方法，其特征在于，所述步骤S101中，所述能量函数修剪卷积层，包括步骤：

使用能量函数计算特征图能量；

并根据各个卷积层的能量排序确定各卷积层的修剪顺序；

修剪掉能量最多的卷积层；

其中，对于网络的卷积层，将卷积运算转换为矩阵乘法运算，将输入特征映射转换为托普利兹矩阵，并计算输出特征映射；

对于网络的全连接层，输出的第i个特征图为Y_i＝X_iA_i+B_il；其中，A_i为全连接层的第i个滤波器，X_i为全连接层输入的特征图，B_i为全连接层的第i个偏置，l为元素全为1的向量；

通过所述全能量函数为：获得特征图Y_i的能量。

4.根据权利要求3所述的一种深度神经网络的压缩方法，其特征在于，在所述步骤S102中，所述恢复权重过程包括步骤：最小化所述输出特征映射的误差来恢复指定权重；通过滤波器计算公式迭代恢复权重，直到非零权重的数量等于q；

所述滤波器计算公式为：

s.t.||A||₀≤q，i＝1，…，n；

其中，Y_i＝Y-B_il，||·||₁表示1范数，q为所有滤波器中保留权重数量的期望值，A_i由卷积和权重的剪枝获得。

5.根据权利要求4所述的一种深度神经网络的压缩方法，其特征在于，对每个滤波器执行最小二乘优化，改变所述滤波器的权值：

其中，下标S_i表示从第i个滤波器和X_i的相应列中选择非剪枝权重。

6.根据权利要求5所述的一种深度神经网络的压缩方法，其特征在于，所述步骤S103中通过反向传播利用修剪后的权重来微调整个网络，包括步骤：

经过剪枝后的稀疏网络，采用紧凑的存储方式CSC或CSR来表示；

存储权重索引的相对位置，并且在卷积层进行8bit插值编码以及在全连接层位进行5bit插值编码；

进行精度判断：当需要大于边界的索引差异时，使用零填充解决方案；在所述零填充解决方案中：如果采用3bit，则最大表述差值为8，当一个非零元素距其前一个非零元素位置超过8，则将该元素值置零。

7.根据权利要求1或6所述的一种深度神经网络的压缩方法，其特征在于，在所述步骤S200中，训练量化和权值共享过程中，包括步骤：

通过减少表示每个权重所需的位数来进一步压缩剪枝后的网络；

通过使多个连接共享相同的权重来限制需要存储的有效权重的数量，并对这些共享权重进行微调。

8.根据权利要求7所述的一种深度神经网络的压缩方法，其特征在于，在所述权重共享中采用k-均值聚类方法识别网络中每个层的共享权重，使落入同一个群集的所有权重共享相同的权重。