[发明专利]从量化的固件神经网络层得出一致的软件神经网络层

说明书

提供了用于得出一致的软件神经网络层的系统和方法。该方法包括接收第一指令，第一指令被配置为使用神经网络处理器(NNP)处理与神经网络层相对应的第一数据集，其中NNP被配置为量化第一数据集以生成量化的数据集，并且然后使用与NNP相关联的硬件内所包含的矩阵向量乘法器，对量化的数据集执行矩阵向量乘法操作，以生成第一结果集。该方法还包括处理第一指令以自动生成第二指令，第二指令被配置用于与不同于NNP的至少一个处理器一起使用，使得第二指令在被至少一个处理器执行以执行矩阵乘法操作时，生成与第一结果集一致的第二结果集。

背景技术

神经网络技术被用于执行复杂的任务，诸如图像分类、阅读理解、语言翻译或语音识别。许多这些任务包括涉及执行大量浮点矩阵乘法和累加操作的深度学习。这些操作在训练期间以及基于输入数据和经训练的数据提供结果期间被执行。

神经网络可以使用与输入数据和以不同格式表达的训练数据相对应的值，包括以不同精度水平表达的数据。

发明内容

在一个示例中，本公开涉及一种方法，该方法包括接收第一指令，第一指令被配置为使用神经网络处理器处理与神经网络层相对应的第一数据集，其中神经网络处理器被配置为量化第一数据集以生成量化的数据集，并且然后使用与神经网络处理器相关联的硬件内所包含的矩阵向量乘法器，对量化的数据集执行矩阵向量乘法操作，以生成第一结果集。该方法还包括处理第一指令以自动生成第二指令，第二指令被配置用于与不同于神经网络处理器的至少一个处理器一起使用，使得第二指令在被至少一个处理器执行以执行与神经网络层相对应的矩阵乘法操作时，生成与第一结果集一致的第二结果集。

在另一示例中，本公开涉及一种包括至少一个处理器和存储器的系统。该存储器可以包括第一指令，第一指令被配置为使用神经网络处理器处理与神经网络层相对应的第一数据集，神经网络处理器具有包含在与神经网络处理器相关联的硬件内的矩阵向量乘法器和包含在与神经网络处理器相关联的硬件内的多功能单元，其中神经网络处理器被配置为量化第一数据集以生成第一量化的数据集，并且然后：(1)使用与神经网络处理器相关联的硬件内包含的矩阵向量乘法器，对第一量化的数据集执行矩阵操作，以生成第一输出数据集，(2)量化第一输出数据集以生成第一量化的输出数据集，以及(3)使用与神经网络处理器相关联的硬件内的多功能单元，对第一量化的输出数据集执行标量操作，以生成第二输出数据集。该存储器还可以包括第二指令，第二指令被配置为处理第一指令，以生成第三指令，第三指令被配置用于与不同于神经网络处理器的至少一个处理器一起使用，其中第三指令包括用于执行矩阵乘法操作的指令和用于执行标量操作以处理神经网络层的指令。

在又一示例中，本公开涉及包括与方法相对应的代码的非瞬态计算机可读介质。该方法可以包括接收第一指令，第一指令被配置为使用神经网络处理器处理与神经网络层相对应的第一数据集，其中神经网络处理器被配置为量化第一数据集以生成量化的数据集，并且然后使用与神经网络处理器相关联的硬件内所包含的矩阵向量乘法器，对量化的数据集执行矩阵向量乘法操作，以生成第一结果集。该方法还包括处理第一指令以自动生成第二指令，第二指令被配置用于与不同于神经网络处理器的至少一个处理器一起使用，使得第二指令在被至少一个处理器执行以执行与神经网络层相对应的矩阵乘法操作时，生成与第一结果集一致的第二结果集。

提供本发明内容以简化形式介绍在下面的具体实施方式中进一步描述的概念的选择。本发明内容不旨在确定要求保护的主题的关键特征或基本特征，也不旨在用于限制要求保护的主题的范围。

附图说明

本公开以示例的方式示出并且不受附图限制，其中相似的附图标记表示相似的元件。图中的元件是为了简单和清楚而被示出的并且不一定按比例绘制。

图1是根据一个示例的用于自动生成一致的经训练的软件模型的环境的框图；

图2是量化的固件神经网络层的一部分的框图；

图3是根据一个示例的具有量化(quantization)的神经网络处理器的框图；