[发明专利]压缩分类神经网络的方法和装置

权利要求书

1.一种压缩分类神经网络的方法，包括：

获取针对分类神经网络的卷积层的候选裁剪方案，所述候选裁剪方案指示所述卷积层的多个通道中的一组通道将被保留；

利用所述分类神经网络处理一组样本，以确定与所述一组通道相关联的特征图；

基于所述特征图，确定第一度量和第二度量，所述第一度量指示所述一组样本中具有相同类别的样本的特征表示之间的第一差异，所述第二度量指示具有不同类别的样本的特征表示之间的第二差异；以及

基于所述第一度量和所述第二度量，更新所述候选裁剪方案，以确定用于裁剪所述分类神经网络的所述卷积层的目标裁剪方案。

2.根据权利要求1所述的方法，其中更新所述候选裁剪方案包括：

基于所述第一度量和所述第二度量，确定所述多个通道的得分，所述得分指示相应通道对于所述第一度量和所述第二度量的影响程度；以及

基于所述多个通道的所述得分，更新所述候选裁剪方案。

3.根据权利要求2所述的方法，其中所述一组通道为第一组通道，并且基于所述多个通道的所述得分更新所述候选裁剪方案包括：

确定所述第一度量和所述第二度量之间的第一度量差异；以及

迭代地执行以下过程：

基于所述第一度量差异，更新所述多个通道的所述得分；

基于所述多个通道的更新的所述得分，从所述多个通道中确定将被保留的第二组通道；

基于所述第二组通道，确定更新的第一度量和更新的第二度量之间的第二度量差异；

如果所述第一度量差异与所述第二度量差异之间的差小于预定阈值，则基于所述第二组通道确定所述目标裁剪方案并终止迭代；以及

如果所述第一度量差异与第二度量差异之间的差大于或等于所述预定阈值，则将所述第二度量差异确定作为新的第一度量差异。

4.根据权利要求1所述的方法，还包括：

基于所述分类神经网络的目标压缩程度，确定所述多个通道中将被保留的所述一组通道的目标数目。

5.根据权利要求4所述的方法，其中所述目标压缩程度指示裁剪后的分类神经网络的目标浮点计算数。

6.根据权利要求4所述的方法，其中所述分类神经网络包括多个卷积层，并且确定所述多个通道中将被保留的所述一组通道的目标数目包括：

基于在所述多个卷积层中保留额外通道引起的性能变化，确定多个收益因子；

基于在所述多个卷积层中保留额外通道引起的浮点计算数的变化，确定多个开销因子；以及

基于所述多个收益因子和所述多个开销因子，确定所述多个卷积层的每个卷积层中被保留的通道的数目。

7.根据权利要求1所述的方法，还包括：

基于所述目标裁剪方案，压缩所述分类神经网络；以及

使经压缩的所述分类神经网络部署于目标计算设备，所述目标计算设备的计算资源数目小于阈值数目。

8.根据权利要求1所述的方法，其中所述一组样本为一组图像样本，所述分类神经网络是用于图像处理的分类神经网络。

9.一种用于压缩分类神经网络的装置，包括：

获取模块，被配置为获取针对分类神经网络的卷积层的候选裁剪方案，所述候选裁剪方案指示所述卷积层的多个通道中的一组通道将被保留；

处理模块，被配置为利用所述分类神经网络处理一组样本，以确定与所述一组通道相关联的特征图；

分析模块，被配置为基于所述特征图，确定第一度量和第二度量，所述第一度量指示所述一组样本中具有相同类别的样本的特征表示之间的第一差异，所述第二度量指示具有不同类别的样本的特征表示之间的第二差异；以及

更新模块，被配置为基于所述第一度量和所述第二度量，更新所述候选裁剪方案，以确定用于裁剪所述分类神经网络的所述卷积层的目标裁剪方案。