[发明专利]用于矩阵加速器架构的稀疏优化

权利要求书

1.一种通用图形处理器，包括：

处理资源，所述处理资源包括矩阵加速器和解码器，所述矩阵加速器包括用于绕过对输入矩阵的稀疏子矩阵的加载的加载过滤器，并且所述解码器用于对与所述输入矩阵相关联的经编码的数据集合解码以生成经解码的数据集合，所述解码器用于基于与所述经编码的数据集合相关联的元数据对所述经编码的数据集合解码，其中，所述加载过滤器用于基于与所述经编码的数据集合相关联的所述元数据而绕过对所述稀疏子矩阵的所述加载。

2.如权利要求1所述的通用图形处理器，其中，所述解码器用于将与所述经编码的数据集合相关联的所述元数据提供给所述加载过滤器。

3.如权利要求2所述的通用图形处理器，其中，与所述经编码的数据集合相关联的所述元数据包括重要性图，所述重要性图用于指示所述经解码的数据集合的位流的零值或非零值。

4.如权利要求3所述的通用图形处理器，其中，所述解码器被包括在所述矩阵加速器中，并且所述矩阵加速器用于读取一个或多个经编码的子矩阵作为输入。

5.如权利要求1所述的通用图形处理器，其中，所述矩阵加速器包括多个处理元件。

6.如权利要求5所述的通用图形处理器，其中，所述多个处理元件被布置为脉动阵列并被配置成处理输入矩阵数据的集合的一个或多个子矩阵。

7.如权利要求6所述的通用图形处理器，其中，所述处理资源附加地包括用于为所述输入矩阵的被绕过的子矩阵执行操作的硬件逻辑单元。

8.一种方法，包括：

在包括矩阵加速器的通用图形处理单元上：

经由零检测电路跟踪要被输入到矩阵加速器的矩阵的零值操作数；以及

响应于检测到零值操作数而绕过所述矩阵加速器上的矩阵乘法操作，所述零值操作数与输入矩阵的第一子矩阵相关联，其中，所述第一子矩阵是零值子矩阵。

9.如权利要求8所述的方法，其中，所述输入矩阵是零值矩阵，并且对于所述零值矩阵，所述矩阵加速器上的所有矩阵乘法操作都被绕过。

10.如权利要求8所述的方法，附加地包括：

响应于检测到所述输入矩阵的第二子矩阵而绕过所述矩阵加速器上的矩阵乘法操作，所述第二子矩阵具有有限数量的非零值；以及

将消息发送到所述矩阵加速器外部的处理资源，所述消息用于指示对所述第二子矩阵的绕过。

11.如权利要求10所述的方法，附加地包括：基于所述消息，经由所述处理资源为所述第二子矩阵执行被绕过的操作。

12.如权利要求11所述的方法，其中，所述消息标识所述被绕过的操作以及用于所述被绕过的操作的操作数。

13.如权利要求8所述的方法，其中，经由所述零检测电路跟踪要被输入到矩阵加速器的矩阵的零值操作数包括：为第一输入矩阵生成子矩阵图，所述子矩阵图用于为所述第一输入矩阵标识零值子矩阵。

14.一种数据处理系统，包括：

存储器设备；以及

图形处理器，与所述存储器设备耦合，所述图形处理器包括：

处理资源，所述处理资源包括矩阵加速器和解码器，所述矩阵加速器包括用于绕过对输入矩阵的稀疏子矩阵的加载的加载过滤器，并且所述解码器用于对与所述输入矩阵相关联的经编码的数据集合解码以生成经解码的数据集合，所述解码器用于基于与所述经编码的数据集合相关联的元数据对所述经编码的数据集合解码；以及

其中，所述加载过滤器用于基于与所述经编码的数据集合相关联的所述元数据而绕过对所述稀疏子矩阵的所述加载。