[发明专利]使用矩阵计算单元的深度级联

说明书

用于使用矩阵计算单元进行深度级联的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。其中一种方法包括：接收使用集成电路处理到神经网络的网络输入的请求，所述神经网络包括深度级联神经网络层；以及生成指令，所述指令在由所述集成电路执行时使所述集成电路执行操作，所述操作包括：针对到所述深度级联层的第一输入张量和到所述深度级联层的第二输入张量中的每个空间位置：使用所述矩阵计算单元，将该空间位置的第二深度矢量与所述深度级联层的移位权重矩阵相乘以生成移位的第二深度矢量；以及将所述移位的第二深度矢量和该空间位置的第一输入深度矢量相加以生成级联深度矢量。

技术领域

本说明书涉及用硬件执行神经网络计算。

背景技术

神经网络是采用模型的一个或多个层来针对接收到的输入生成输出(例如，分类)的机器学习模型。一些神经网络除了包括输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中一个或多个其它层(即，网络的一个或多个其它隐藏层或输出层)的输入。网络的每层依照相应的参数集合的当前值从接收到的输入生成输出。

一些神经网络包括深度级联层，所述深度级联层是接收为神经网络中的其它层的输出的两个或更多个张量(即，两个或更多个多维矩阵)作为输入并且沿着深度维度级联输入张量的层。特别地，每个输入张量具有两个空间维度x和y及深度维度z。通过沿着深度维度z级联两个输入张量(一个具有维度x₁乘y₁乘z₁而另一个具有维度x₁乘y₁乘z₂)，所述深度级联层生成具有维度x₁乘y₁乘(z₁+z₂)的输出张量。该输出张量然后可被神经网络的另一层用作输入。

发明内容

本说明书描述用于使用矩阵计算单元来沿着深度维度执行两个张量的级联的技术。这些技术通常涉及接收要在用于执行神经网络计算的集成电路上处理到包括深度级联层的神经网络的网络输入的请求。所述集成电路包括用硬件执行矢量-矩阵乘法但是不能直接地用硬件执行深度级联操作的矩阵计算单元。替代地，神经网络处理系统生成指令，所述指令当由所述集成电路执行时，使所述集成电路用硬件执行操作，所述操作使用所述矩阵计算单元来生成满足所述深度级联层的规范的输出。

可在特定实施例中实现本说明书中所描述的主题以便实现以下优点中的一个或多个。即使所述集成电路不能直接地用硬件执行深度级联操作，也可通过专用集成电路用硬件生成满足深度级联层的规范的输出。通过在所述集成电路上用硬件生成令人满意的输出，即使所述集成电路不直接地支持所述深度级联操作，也可执行针对包括深度级联层的神经网络的推理的处理，而无需将数据传回到主机，即，而无需在片外执行计算的一部分。换句话说，与计算所述深度级联层的输出有关的所有计算都发生在所述专用集成电路上。特别地，通过使用如本说明书中所描述的移位矩阵来对来自所述两个输入张量的深度矢量执行矩阵乘法，所述集成电路能够在片上用硬件计算所述深度级联层的输出。这允许在无需修改所述集成电路的硬件架构的情况下高效地执行针对这种神经网络的推理的处理。特别地，所述系统可高效地处理神经网络推理，而不需要向所述专用电路添加深度级联硬件或者向所述专用电路的矢量单元添加移位支持。也就是说，避免了由于需要在片外、用软件或两者执行计算的一部分而导致的处理延迟。

在下面的附图和描述中阐述了本说明书的主题的一个或多个实施例的细节。主题的其它特征、方面和优点将根据说明书、附图和权利要求书变得显而易见。

附图说明

图1示出示例神经网络处理系统。

图2示出示例专用集成电路。

图3是用于生成使专用集成电路为深度级联层生成输出张量的指令的示例过程的流程图。

图4是用于沿着深度维度级联两个张量的示例过程的流程图。

图5是用于沿着深度维度级联两个张量的另一示例过程的流程图。