[发明专利]从量化的固件神经网络层得出一致的软件神经网络层

权利要求书

1.一种方法，包括：

接收第一指令，所述第一指令被配置为使用神经网络处理器处理与神经网络层相对应的第一数据集，其中所述神经网络处理器被配置为量化所述第一数据集以生成量化的数据集，并且然后使用与所述神经网络处理器相关联的硬件内所包含的矩阵向量乘法器，对所述量化的数据集执行矩阵向量乘法操作，以生成第一结果集；以及

处理所述第一指令以自动生成第二指令，所述第二指令被配置用于与不同于所述神经网络处理器的至少一个处理器一起使用，使得所述第二指令在被所述至少一个处理器执行以执行与所述神经网络层相对应的矩阵乘法操作时，生成与所述第一结果集一致的第二结果集。

2.根据权利要求1所述的方法，其中所述处理所述第一指令以自动生成第二指令还包括：提取关于所述矩阵向量乘法操作与从softmax操作、ReLU操作或加法操作中选择的操作之间的依赖关系的信息。

3.根据权利要求1所述的方法，其中所述第一数据集以具有第一精度的第一精度格式表示，并且所述量化的数据集以具有低于所述第一精度的第二精度的第二精度格式表示。

4.根据权利要求3所述的方法，其中所述第一精度格式包括浮点格式，并且其中所述第二精度格式包括从以下各项中的一项选择的精度格式：整数格式、降低的浮点精度格式、或块浮点格式。

5.根据权利要求1所述的方法，其中所述量化的数据集包括量化的训练数据集，所述量化的训练数据集用于与关联于所述第二指令的操作一起使用。

6.根据权利要求1所述的方法，其中所述第一数据集以N×N矩阵形式组织，并且其中N是大于1的整数并且N是与所述矩阵向量乘法器相关联的本机维度，并且其中所述处理所述第一指令以自动生成所述第二指令包括：将所述第一数据集从所述N×N矩阵形式转变为适合用于与所述第二指令一起使用的另一形式。

7.根据权利要求1所述的方法，其中所述处理所述第一指令以自动生成第二指令包括：将所述第一数据集的形式转变成适合用于与所述第二指令一起使用的另一形式。

8.一种系统，包括：

至少一个处理器；以及

存储器，包括：

第一指令，所述第一指令被配置为使用神经网络处理器处理与神经网络层相对应的第一数据集，所述神经网络处理器具有包含在与所述神经网络处理器相关联的硬件内的矩阵向量乘法器和包含在与所述神经网络处理器相关联的所述硬件内的多功能单元，其中所述神经网络处理器被配置为量化所述第一数据集以生成第一量化的数据集，并且然后：(1)使用与所述神经网络处理器相关联的所述硬件内包含的所述矩阵向量乘法器，对所述第一量化的数据集执行矩阵操作，以生成第一输出数据集，(2)量化所述第一输出数据集以生成第一量化的输出数据集，以及(3)使用与所述神经网络处理器相关联的所述硬件内包含的所述多功能单元，对所述第一量化的输出数据集执行标量操作，以生成第二输出数据集；以及

第二指令，所述第二指令被配置为处理所述第一指令，以生成第三指令，所述第三指令被配置用于与不同于所述神经网络处理器的所述至少一个处理器一起使用，其中所述第三指令包括用于执行矩阵乘法操作的指令和用于执行标量操作以处理所述神经网络层的指令。

9.根据权利要求8所述的系统，其中所述第二指令还被配置为：提取关于所述矩阵向量乘法操作与从softmax操作、ReLU操作或加法操作中选择的操作之间的依赖关系的信息。

10.根据权利要求8所述的系统，其中所述第一数据集以具有第一精度的第一精度格式表示，并且其中所述第一量化的数据集和所述第一量化的输出数据集中的每个数据集以具有低于所述第一精度的第二精度的第二精度格式表示。

11.根据权利要求10所述的系统，其中所述第一精度格式包括浮点格式，并且其中所述第二精度格式包括从以下各项中的一项选择的精度格式：整数格式、降低的浮点精度格式、或块浮点格式。