[发明专利]用于剪枝的方法和设备

说明书

公开用于剪枝的方法和设备。所述方法由包括处理器的设备执行，所述方法包括：确定训练后的神经网络的权重重要性；接收与操作资源相关的约束条件；以及根据约束条件，确定用于使训练后的神经网络的权重重要性最大化的剪枝掩码。

本申请要求于2022年2月16日提交到韩国知识产权局的第10-2022-0020308号韩国专利申请的权益，该韩国专利申请的全部公开出于所有目的通过引用包含于此。

技术领域

下面的描述涉及具有剪枝的方法和装置。

背景技术

人工神经网络设备通常需要大量的处理能力以能够处理复杂的输入数据(在下文中，“神经网络”表示人工神经网络)。增加神经网络的学习能力可涉及增加神经网络内的连接性(connectivity)的复杂性。虽然旧的学习数据的准确性可增加，但是新学习的数据的估计值的置信度可降低。也就是说，可发生过拟合问题。此外，增加神经网络的复杂性可过度增加神经网络的存储器分配，这造成小型化和商业化方面的问题。

因此，存在对在减少实现神经网络的成本的同时总体维持神经网络的性能的需要。

发明内容

提供本发明内容以便以简化的形式介绍以下在具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求保护的主题的关键特征或必要特征，也不意在用作帮助确定要求保护的主题的范围。

在一个总体方面，一种由包括处理器的设备执行的方法，包括：确定训练后的神经网络的权重重要性；接收与操作资源相关的约束条件；以及根据约束条件，确定用于使训练后的神经网络的权重重要性最大化的剪枝掩码。

确定剪枝掩码的步骤可包括：确定针对剪枝的输入通道的剪枝二进制向量；以及确定针对所述剪枝的输出通道的空间剪枝二进制向量。

剪枝神经网络的步骤可包括：基于确定的针对所述剪枝的输入通道的剪枝二进制向量来剪枝输入通道的权重；以及基于确定的输出通道的空间剪枝二进制向量来剪枝输出通道的空间维度上的权重。

确定权重重要性的步骤可包括：将权重重要性表示为针对所述剪枝的输入通道的剪枝二进制向量或针对所述剪枝的输出通道的空间剪枝二进制向量中的至少一个，并且接收约束条件的步骤可包括：将约束条件表示为输入通道的剪枝二进制向量或输出通道的空间剪枝二进制向量中的至少一个。

确定剪枝掩码的步骤可包括：根据约束条件，将用于使神经网络的权重重要性最大化的优化式表示为输入通道的剪枝二进制向量和输出通道的空间剪枝二进制向量中的至少一个。

确定剪枝掩码的步骤可包括：基于二进制向量优化算法来确定与优化式对应的剪枝掩码。

确定权重重要性的步骤可包括：基于神经网络的权重的绝对值和/或误差的梯度的绝对值来确定权重重要性。

与操作资源相关的约束条件可以是用于执行神经网络的推断的硬件资源的硬件性能约束。

与操作资源相关的约束条件可基于以下项中的至少一个被确定：能够用于执行神经网络的推断的存储器的可用容量、用于执行神经网络的推断的硬件资源的每秒浮点运算、以及使用用于执行神经网络的推断的硬件资源的时间限制。

所述方法还可包括：基于剪枝掩码来剪枝训练后的神经网络；接收输入图像；以及使用接收的输入图像基于剪枝后的神经网络来生成推断结果。

在一个总体方面，一种电子设备包括：处理器；以及存储器，存储能够由处理器执行的指令，其中，处理器被配置为，响应于执行所述指令：确定训练后的神经网络的权重重要性；接收与操作资源相关的约束条件；以及根据约束条件，确定用于使训练后的神经网络的权重重要性最大化的剪枝掩码。

处理器还可被配置为：确定输入通道的剪枝二进制向量；以及确定输出通道的空间剪枝二进制向量。