[发明专利]确定神经网络的输出的方法、电子设备和计算机程序产品

说明书

本公开的实施例涉及用于确定神经网络的输出的方法、电子设备和计算机程序产品。一种用于确定神经网络的输出的方法包括获取由神经网络的至少一个隐藏层输出的特征向量、以及与该神经网络的多个候选输出相关联的多个权重向量，多个候选输出的相应概率基于多个权重向量和特征向量来确定；将多个权重向量分别转换成多个二进制序列，并且将特征向量转换成目标二进制序列；从多个二进制序列中确定与目标二进制序列最相似的二进制序列；以及基于该二进制序列，从多个候选输出中确定该神经网络的输出。本公开的实施例能够对神经网络的输出层进行压缩，以提高输出层的运算效率。

技术领域

本公开的实施例总体涉及机器学习领域，具体涉及用于确定神经网络的输出的方法、电子设备和计算机程序产品。

背景技术

在机器学习应用中，可以基于训练数据集来训练神经网络模型，然后利用经训练的神经网络模型来执行推理任务。以图像分类应用为例，可以基于标注有图像类别的训练图像来训练神经网络模型。然后，推理任务可以利用经训练的神经网络来确定输入图像的类别。

当把复杂的深度神经网络(DNN)部署到计算资源和/或存储资源有限的设备上时，可以通过应用模型压缩技术来节省推理任务所消耗的存储资源和运算时间。传统的DNN压缩技术都集中在压缩诸如卷积层(也称为“隐藏层”)等特征提取层上。然而，在诸如上述图像分类应用这样的应用中，输入图像的类别可能是大量候选类别之一，这可能导致DNN的输出层的运算量巨大。

发明内容

本公开的实施例提供了用于确定神经网络的输出的方法、电子设备和计算机程序产品。

在本公开的第一方面，提供了一种用于确定神经网络的输出的方法。该方法包括：获取由神经网络的至少一个隐藏层输出的特征向量、以及与该神经网络的多个候选输出相关联的多个权重向量，多个候选输出的相应概率基于多个权重向量和特征向量来确定；将多个权重向量分别转换成多个二进制序列，并且将特征向量转换成目标二进制序列；从多个二进制序列中确定与目标二进制序列最相似的二进制序列；以及基于该二进制序列，从多个候选输出中确定该神经网络的输出。

在本公开的第二方面，提供了一种电子设备。该电子设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得装置执行动作，该动作包括：获取由神经网络的至少一个隐藏层输出的特征向量、以及与该神经网络的多个候选输出相关联的多个权重向量，多个候选输出的相应概率基于多个权重向量和特征向量来确定；将多个权重向量分别转换成多个二进制序列，并且将特征向量转换成目标二进制序列；从多个二进制序列中确定与目标二进制序列最相似的二进制序列；以及基于该二进制序列，从多个候选输出中确定该神经网络的输出。

在本公开的第三方面，提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令。该机器可执行指令在由设备执行时使该设备执行根据本公开的第一方面所描述的方法的任意步骤。

提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。

图1示出了本公开的实施例能够在其中被实施的示例环境的框图；

图2示出了根据本公开的实施例的示例深度神经网络的示意图；

图3示出了根据本公开的实施例的用于确定神经网络的输出的示例方法的流程图；

图4示出了根据本公开的实施例的将输入向量转换成二进制序列的示意图；以及