[发明专利]用于剪枝的方法和设备

权利要求书

1.一种由包括处理器的设备执行的方法，所述方法包括：

确定训练后的神经网络的权重重要性；

接收与操作资源相关的约束条件；以及

根据约束条件，确定用于使训练后的神经网络的权重重要性最大化的剪枝掩码。

2.根据权利要求1所述的方法，其中，确定剪枝掩码的步骤包括：

确定针对剪枝的输入通道的剪枝二进制向量；以及

确定针对所述剪枝的输出通道的空间剪枝二进制向量。

3.根据权利要求1所述的方法，还包括：

基于剪枝掩码来剪枝训练后的神经网络。

4.根据权利要求3所述的方法，还包括：

基于剪枝后的神经网络来生成推断结果。

5.根据权利要求3所述的方法，其中，剪枝训练后的神经网络的步骤包括：

基于确定的针对所述剪枝的输入通道的剪枝二进制向量来剪枝输入通道的权重；以及

基于确定的输出通道的空间剪枝二进制向量来剪枝输出通道的空间维度上的权重。

6.根据权利要求1至5中的任何一项所述的方法，其中，

确定权重重要性的步骤包括：

将权重重要性表示为针对剪枝的输入通道的剪枝二进制向量和针对所述剪枝的输出通道的空间剪枝二进制向量中的至少一个，并且

接收约束条件的步骤包括：

将约束条件表示为输入通道的剪枝二进制向量和输出通道的空间剪枝二进制向量中的至少一个。

7.根据权利要求6所述的方法，其中，确定剪枝掩码的步骤包括：根据约束条件，将用于使训练后的神经网络的权重重要性最大化的优化式表示为输入通道的剪枝二进制向量和输出通道的空间剪枝二进制向量中的至少一个。

8.根据权利要求7所述的方法，其中，确定剪枝掩码的步骤包括：基于二进制向量优化算法来确定与优化式对应的剪枝掩码。

9.根据权利要求1至5中的任何一项所述的方法，其中，确定权重重要性的步骤包括：基于神经网络的权重的绝对值和/或误差的梯度的绝对值来确定权重重要性。

10.根据权利要求1至5中的任何一项所述的方法，其中，与操作资源相关的约束条件是用于执行神经网络的推断的硬件资源的硬件性能约束。

11.根据权利要求1至5中的任何一项所述的方法，其中，与操作资源相关的约束条件基于以下项中的至少一个被确定：能够用于执行神经网络的推断的存储器的可用容量、用于执行神经网络的推断的硬件资源的每秒浮点运算、以及使用用于执行神经网络的推断的硬件资源的时间限制。

12.根据权利要求1至5中的任何一项所述的方法，还包括：

基于剪枝掩码来剪枝训练后的神经网络；

接收输入图像；以及

使用接收的输入图像基于剪枝后的神经网络来生成推断结果。

13.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时使处理器执行根据权利要求1至12中的任何一项所述的方法。

14.一种电子设备，包括：

处理器；以及

存储器，存储能够由处理器执行的指令，

其中，处理器被配置为，响应于执行所述指令：

确定训练后的神经网络的权重重要性；

接收与操作资源相关的约束条件；以及

根据约束条件，确定用于最大化训练后的神经网络的权重重要性的剪枝掩码。

15.根据权利要求14所述的电子设备，其中，处理器还被配置为：

确定输入通道的剪枝二进制向量；以及

确定输出通道的空间剪枝二进制向量。