[发明专利]用于对矩阵值灵活求和的设备和方法

权利要求书

1.一种设备，包括：

矩阵转置组件，所述矩阵转置组件被配置为转置元素的输入矩阵以输出已经转置的元素的输出矩阵，其中：

使用第一数量的比特来表示所述元素的输入矩阵中的每个元素；

使用大于所述第一数量的比特的第二数量的比特来表示存储在所述输入矩阵中的一组值中的每个值；和

所述一组值中的每个值被存储为跨越所述输入矩阵的元素中的一个以上元素的分割段；

矩阵处理组件，所述矩阵处理组件被配置为将第一乘法输入矩阵与第二乘法输入矩阵相乘，其中所述矩阵转置组件的输出矩阵被用作所述第一乘法输入矩阵，并且掩码向量被用作所述第二乘法输入矩阵；

数据对齐组件，所述数据对齐组件被配置为修改所述矩阵处理组件的结果的元素的至少一部分；和

数据缩减组件，所述数据缩减组件被配置为至少对所述矩阵处理组件的经修改结果的元素求和，以确定所述一组值的和。

2.根据权利要求1所述的设备，其中所述第一数量的比特是八比特，并且所述第二数量的比特是三十二比特。

3.根据权利要求1所述的设备，其中存储在所述掩码向量中的每个值是使用所述第一数量的比特表示的值一。

4.根据权利要求1所述的设备，其中所述矩阵处理组件的结果是点积结果的向量。

5.根据权利要求4所述的设备，其中所述点积结果的向量的点积结果是所述第一乘法输入矩阵的行与所述掩码向量的点积。

6.根据权利要求1所述的设备，其中所述数据对齐组件被配置为修改所述矩阵处理组件的结果的元素的至少一部分，包括通过被配置为将所述矩阵处理组件的结果的元素进行比特移位指定的比特移位量。

7.根据权利要求6所述的设备，其中，所述矩阵处理组件的结果的元素的指定的比特移位量至少部分地基于所述输入矩阵的元素的相应分割段位置。

8.根据权利要求6所述的设备，其中不同的指定的比特移位量的数量等于用于存储所述一组值中的每个值的分割段的数量。

9.根据权利要求6所述的设备，其中指定的比特移位量是以下中的至少一项：二十四比特、十六比特、8比特或0比特。

10.根据权利要求1所述的设备，其中所述矩阵处理组件包括多个点积处理组件。

11.根据权利要求10所述的设备，其中所述多个点积处理组件中的至少一个点积处理组件包括向量乘法单元和向量加法器单元。

12.根据权利要求11所述的设备，其中所述向量加法器单元包括加法器树，所述加法器树包括多个二进制加法器、至少一个寄存器和数据路由路径。

13.根据权利要求1所述的设备，其中所述数据对齐组件包括多个比特移位器。

14.根据权利要求1所述的设备，其中所述数据缩减组件包括加法器单元。

15.根据权利要求14所述的设备，其中所述加法器单元包括加法器树，所述加法器树包括多个二进制加法器、至少一个寄存器和数据路由路径。

16.根据权利要求1所述的设备，其中所述输入矩阵在人工神经网络操作中使用。

17.根据权利要求1所述的设备，其中所述矩阵转置组件被配置为转置所述元素的输入矩阵，包括通过被配置为将所述输入矩阵的元素复制到缓冲储存器。