[发明专利]利用神经网络计算单元中的输入数据稀疏

说明书

本申请涉及利用神经网络计算单元中的输入数据稀疏。一种计算机实现的方法包括由计算设备接收输入激活并且由所述计算设备的控制器确定每个输入激活具有零值还是非零值。所述方法进一步包括在所述计算设备的存储器组中存储至少一个输入激活。存储至少一个输入激活包括生成索引，所述索引包括一个或多个存储器地址位置，该存储器地址位置具有非零值的输入激活值。所述方法仍进一步包括由控制器从存储器组提供至少一个输入激活到数据总线上，所述数据总线可由计算阵列的一个或多个单元来访问。激活至少部分从与索引相关联的存储器地址位置提供。

技术领域

本申请涉及利用神经网络计算单元中的输入数据稀疏。

背景技术

本说明书涉及使用专用计算单元执行机器学习计算。

神经网络是利用模型的一个或多个层来生成对于接收到的输入的例如分类的输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作对网络中下一层的输入，即网络的下一隐藏层或输出层。网络的每一层根据相应的参数集的当前值从接收到输入生成输出。

一些神经网络包括一个或多个卷积神经网络层。每个卷积神经网络层具有相关联的内核集。每个内核包括由用户创建的神经网络模型所建立的值。在一些实现中，内核识别特定图像轮廓、形状或颜色。内核可以被表示为权重输入的矩阵结构。每个卷积层还可以处理激活输入集。所述激活输入集也可以被表示为矩阵结构。

发明内容

计算卷积计算的一种方式需要在大维度空间中的许多矩阵乘法。计算单元的处理器或控制器设备可以通过强力法计算矩阵乘法。例如，尽管计算密集且时间密集，处理器可以为卷积计算重复地计算各自的和与积。处理器并行化计算的程度由于其架构而受限。

本说明书中所述的主题的创新方面可以体现在一种计算机实现的方法。所述方法包括由计算设备接收多个输入激活，所述多个输入激活的至少部分从所述计算设备外部的源提供，以及由所述计算设备的控制器确定所述多个输入激活中的每个是否具有零值或非零值之一。所述方法进一步包括在所述计算设备的存储器组中存储至少一个所述输入激活，其中，存储至少一个所述输入激活包括由所述控制器生成索引，所述索引包括一个或多个存储器地址位置，该存储器地址位置具有非零值的输入激活值。所述方法还进一步包括由所述控制器从所述存储器组提供至少一个输入激活到数据总线上，所述数据总线能够由计算阵列的一个或多个单元访问，其中，所述激活至少部分从与所述索引相关联的存储器地址位置提供。

在一些实现中，所述索引基于包括多个位的位图来创建，其中，所述位图的每个位指示非零输入激活值或零输入激活值中的至少一个。在一些实现中，所述方法进一步包括，提供具有非零值的第一输入激活以由至少一个单元使用所述非零值执行计算，并且随后提供具有零值的第二输入激活，以及在至少一个单元中阻止否则将使用所述零值来执行的计算。

在一些实现中，响应于所述控制器确定所述输入激活从不与所述索引相关联的存储器地址位置提供而发生阻止。在一些实现中，所述方法进一步包括，由所述控制器检测所述输入激活从不与所述索引相关联的存储器地址位置提供，以及响应于检测，提供控制信号给所述计算阵列的至少一个单元以阻止与所述零输入激活值相关联的乘法操作。

在一些实现中，所述方法进一步包括，由所述控制器向第一单元映射使用第一输入激活的张量计算的第一部分以及向与所述第一单元不同的第二单元映射也使用所述第一输入激活的所述张量计算的第二部分。在一些实现中，所述方法进一步包括，顺序地提供单个输入激活到所述数据总线上，所述单个输入激活从与所述索引相关联的存储器地址位置访问和选择。在一些实现中，提供进一步包括，不提供具有零值的输入激活。