[发明专利]利用神经网络计算单元中的输入数据稀疏

权利要求书

1.一种用于处理神经网络层的输入激活的计算机实现的方法，包括：

由计算设备接收多个输入激活，所述多个输入激活至少部分从所述计算设备外部的源提供；

由所述计算设备的控制器确定所述多个输入激活中的每个输入激活是否具有零值或非零值；

在所述计算设备的存储器组中存储所述多个输入激活中的至少一个；

由所述控制器生成索引，所述索引仅识别所述存储器组中的存储非零输入激活值的存储器地址位置；以及

由所述控制器从所述存储器组提供至少一个输入激活到数据总线上，所述数据总线能够由计算阵列的一个或多个单元访问以用于基于所述至少一个输入激活来执行计算，其中，所述至少一个激活至少部分从与所述索引相关联的存储器地址位置提供。

2.如权利要求1所述的方法，其中，所述索引基于包括多个位的位图来生成，并且其中，所述位图的每个位指示非零输入激活值和零输入激活值中的至少一个。

3.如权利要求1所述的方法，进一步包括：

提供具有非零值的第一输入激活以使得所述计算阵列的至少一个单元能够使用所述非零值执行计算；

随后提供具有零值的第二输入激活；以及

阻止在所述计算阵列的至少一个单元中否则将使用所述零值来执行的计算。

4.如权利要求3所述的方法，其中，所述阻止是响应于所述控制器确定所述第二输入激活是从不与所述索引相关联的存储器地址位置提供而发生的。

5.如权利要求3所述的方法，进一步包括：由所述控制器检测所述第二输入激活是从不与所述索引相关联的存储器地址位置提供的，以及响应于所述检测，提供控制信号给所述计算阵列的至少一个单元以阻止与所述第二输入激活的所述零值相关联的乘法操作。

6.如权利要求1所述的方法，进一步包括：由所述控制器向所述计算阵列的第一单元映射使用第一输入激活的张量计算的第一部分以及向与所述第一单元不同的所述计算阵列的第二单元映射也使用所述第一输入激活的所述张量计算的第二部分。

7.如权利要求1所述的方法，进一步包括，一次提供一个输入激活到所述数据总线上，所述一个输入激活从与所述索引相关联的存储器地址位置被访问和被选择。

8.如权利要求1所述的方法，其中，所述提供进一步包括：不提供具有零值的输入激活。

9.存储用于处理神经网络层的输入激活的指令的一个或多个机器可读存储设备，所述指令在由计算设备的一个或多个处理设备执行时使所述一个或多个处理设备执行操作，所述操作包括：

接收多个输入激活，所述多个输入激活至少部分从所述计算设备外部的源提供；

确定所述多个输入激活中的每个输入激活是否具有零值或非零值之一；

在所述计算设备的存储器组中存储所述多个输入激活中的至少一个；

由所述计算设备的控制器生成索引，所述索引仅识别所述存储器组中的存储非零输入激活值的存储器地址位置；以及

由所述控制器从所述存储器组提供至少一个输入激活到数据总线上，所述数据总线能够由计算阵列的一个或多个单元访问以用于基于所述至少一个输入激活来执行计算，其中，所述至少一个输入激活至少部分从与所述索引相关联的存储器地址位置提供。

10.如权利要求9所述的一个或多个机器可读存储设备，其中，所述索引基于包括多个位的位图来生成，并且其中，所述位图的每个位指示非零输入激活值和零输入激活值中的一个。

11.如权利要求9所述的一个或多个机器可读存储设备，所述操作进一步包括：

提供具有非零值的第一输入激活以使得所述计算阵列的至少一个单元能够使用所述非零值执行计算；随后提供具有零值的第二输入激活；以及

阻止在所述计算阵列的至少一个单元中否则将使用所述零值来执行的计算。