[发明专利]具有时钟选通的用于执行矩阵乘法的硬件单元

说明书

本公开涉及具有时钟选通的用于执行矩阵乘法的硬件单元。本公开提供了用于经由多级管线执行矩阵乘法的硬件单元和方法，其中，与管线的一个或多个级相关联的存储元件基于已知具有零值或者能被视为具有零值的数据元素和/或其部分而被时钟选通。在一些情况下，可以基于每个数据元素，基于该数据元素是否具有零值或者可以被视为具有零值来对存储元件进行时钟选通。在其他情况下，可以基于部分元素，基于该数据元素的位宽来对存储元件进行时钟选通。例如，如果数据元素的位宽小于该数据元素的最大位宽，则与该数据元素相关的一部分位可被视为具有零值并且与该数据元素相关联的一部分存储元件可以不被时钟控制。

技术领域

本公开涉及矩阵乘法，更具体地，涉及具有时钟选通(clock gating)的用于执行矩阵乘法的硬件单元。

背景技术

矩阵乘法是第一矩阵A和第二矩阵B相乘以产生第三矩阵C。如果A是a x b矩阵，B是b x c矩阵，如下所示：

那么矩阵乘法的结果是a x c的矩阵C，如下所示：

其中矩阵C的每个元素C_ij通过将矩阵A的第i行中的元素与矩阵B的第j列中的元素相乘并且对结果求和来计算，如公式(1)中所示：

矩阵乘法是许多应用中的关键操作。例如，矩阵乘法可用于计算深度神经网络(DNN)中输入数据和权重的卷积。然而，矩阵乘法可能是耗时的，特别是对于大型矩阵而言更是如此。因此，需要一种被配置为以有效的方式执行矩阵乘法的硬件，所述有效的方式即为在操作时需要较少的硅面积或较少的处理能力的方式。此外，可以针对不同的应用执行不同的矩阵乘法(例如，在矩阵大小等方面)。因此，还需要能够灵活地支持各种矩阵乘法的被配置为执行矩阵乘法的硬件。

以下描述的实施例仅作为示例提供，并不对解决已知的执行矩阵乘法的硬件单元的任何或所有缺点的实现方式进行限制。

发明内容

提供本发明内容以介绍下面在具体实施方式中进一步描述的概念的选择。本发明内容不用于识别请求保护的主题的关键特征或本质特征，也不用于限制请求保护的主题的范围。

本文描述的是用于经由多个管线级执行矩阵乘法的硬件单元和方法，其中每个级之前是用于存储输入到该级的数据元素的多个存储元件，与管线的一个或多个级相关联的存储元件基于数据元素和/或其部分是否具有零值(或者可以被视为具有零值)而被时钟选通。在一些情况下，可以针对每个数据元素，基于该数据元素是否具有已知的零值(或者可以被视为具有零值)来对存储元件进行时钟选通。在其他情况下，初始数据元素可以用包括指数和尾数位宽的定点数格式来表示，并且尾数位宽可以在矩阵乘法之间变化或甚至在同一矩阵乘法的硬件通道之间变化。在这些情况下，可以基于输入到硬件中的初始数据元素的尾数位宽，在部分数据元素的基础上对存储元件进行时钟选通。例如，如果初始数据元素的尾数位宽小于最大尾数位宽，则与该数据元素相关的一部分位可被视为具有零值并且与该数据元素相关联的一部分存储元件可以不被时钟控制。在其他情况下，可以基于每个元素和部分元素二者来对存储元件进行时钟选通。

第一方面提供了一种执行矩阵乘法的硬件单元，该硬件单元包括：乘法器级，其包括多个乘法器，每个乘法器被配置为将第一数据元素和第二数据元素相乘以产生乘法数据元素；乘法器级之后的一个或多个加法器级，该一个或多个加法器级形成加法器树以产生乘法数据元素的总和，每个加法器级包括一个或多个加法器，其被配置为将前一级输出的至少两个数据元素相加以产生加法数据元素；其中至少一个乘法器和/或至少一个加法器之前是与输入到至少一个加法器或至少一个乘法器的数据元素的每个位相对应的存储元件；以及控制逻辑，其被配置为响应于确定数据元素的全部或部分可被视为具有零值，对与该数据元素相对应的全部或部分存储元件进行时钟选通。