[发明专利]在推理期间具有零激活的神经网络架构的节能

权利要求书

1.一种设备，包括：

一个或多个处理器，其包括一个或多个处理器核心；以及

存储器，用于存储用于处理的数据，所述处理包括神经网络处理；

其中所述设备用于执行快速清除操作，以通过更新指示零值的元数据来初始化用于神经网络的激活缓冲器，所述神经网络包括多个层；并且

其中所述设备用于将所述神经网络的输出与元数据值进行比较，并且用于仅在输出为非零时才将该输出写入存储器。

2.根据权利要求1所述的设备，其中所述设备用于针对所述神经网络的输出应用非零则写入指令，所述非零则写入用于指示对零值不采取动作。

3.根据权利要求1所述的设备，还包括比较器，用于将所述神经网络的输出与所述元数据值进行比较。

4.根据权利要求3所述的设备，还包括数据端口，其中所述比较器位于所述数据端口中。

5.根据权利要求3所述的设备，还包括所述一个或多个处理器核心中的一个或多个执行单元，其中所述比较器位于所述一个或多个执行单元中的执行单元中。

6.根据权利要求1所述的设备，其中所述设备用于识别所述神经网络的具有零值的权重或激活。

7.根据权利要求6所述的设备，其中所述设备用于对包括任意所识别的具有零值的权重或激活的操作消除时钟提供。

8.根据权利要求7所述的设备，其中所述设备用于在网络推理、网络训练、或网络推理和网络训练这两者中，对所识别的具有零值的权重或激活消除时钟提供。

9.根据权利要求6所述的设备，其中所述设备用于通过应用脉动计算机制来识别零值。

10.根据权利要求1所述的设备，其中所述设备用于在所述神经网络的训练期间执行所述神经网络的节点的块的归一化。

11.一种非暂时性计算机可读存储介质，其上存储有表示指令的序列的数据，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行包括以下项的操作：

通过更新指示零值的元数据来初始化用于神经网络的激活缓冲器，所述神经网络包括多个层；

将所述神经网络的输出与元数据值进行比较；以及

仅在所述神经网络的输出为非零时才将该输出写入存储器。

12.根据权利要求11所述的介质，其中所述仅在所述神经网络的输出为非零时才将该输出写入存储器包括：针对所述神经网络的输出应用非零则写入指令，所述非零则写入用于指示对零值不采取动作。

13.根据权利要求11所述的介质，还包括指令，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下项的操作：

识别所述神经网络的具有零值的权重或激活。

14.根据权利要求13所述的介质，还包括指令，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下项的操作：

对包括所识别的具有零值的权重或激活的操作执行时钟门控。

15.根据权利要求14所述的介质，其中对包括所识别的具有零值的权重或激活的操作执行时钟门控包括：在网络推理、网络训练、或网络推理和网络训练这两者中执行时钟门控。

16.根据权利要求13所述的介质，其中识别所述神经网络的具有零值的权重或激活包括：应用脉动计算机制。