[发明专利]在流式处理器中执行矩阵乘法的方法和装置

说明书

本公开涉及用于计算处理的方法和装置。例如，所公开的技术促进提高流式处理器中的矩阵乘法的性能。本公开的各方面可以利用加载控制单元执行第一加载指令以将输入矩阵的输入数据集从第一存储器加载到第二存储器。本公开的各方面还可以利用加载控制单元执行第二加载指令以将权重矩阵的权重数据集从第一存储器加载到第二存储器。此外，本公开的各方面可以利用ALU组件使用输入数据集和权重数据集来执行矩阵乘法运算以生成输出矩阵。此外，本公开的各方面可以将输出矩阵存储在ALU组件可存取的通用寄存器中。

交叉引用相关申请

本申请要求2019年12月30日提交的标题为“Methods and Apparatus to PerformMatrix Multiplication in a Streaming Processor”的美国临时专利申请第62/955,311号和2020年12月29日提交的、标题为“Methods and Apparatus to Perform MatricMultiplication in a Streaming Processor”的美国专利申请第17/137,226号的权益，其通过引用全部明确并入本文。

技术领域

本公开总体上涉及处理系统，并且更具体地涉及用于计算处理的一种或多种技术。

背景技术

计算设备经常利用图形处理单元(GPU)来加速图形数据的绘制以供显示。这样的计算设备可以包括例如计算机工作站、诸如所谓的智能手机之类的移动电话、嵌入式系统、个人计算机、平板计算机和视频游戏控制台。GPU执行包括一个或多个处理阶段的图形处理管线，这些处理阶段一起操作以执行图形处理命令并输出帧。中央处理单元(CPU)可以通过向GPU发出一个或多个图形处理命令来控制GPU的操作。现代CPU通常能够同时执行多个应用，每个应用在执行期间可能都需要使用GPU。

发明内容

以下呈现一个或多个方面的简化总结，以便提供对这些方面的基本理解。该发明内容不是对所有预期方面的广泛概述，并且既不旨在标识所有方面的关键元素，也不旨在勾勒任何或所有方面的范围。其唯一目的是以简化的形式呈现一个或多个方面的一些概念，作为稍后呈现的更详细描述的前奏。

在本公开的一个方面，提供了一种方法、计算机可读介质和装置。该装置可以是显示处理器、显示处理单元(DPU)、图形处理单元(GPU)或视频处理器。该装置可以利用流式处理器的加载控制单元执行第一加载指令，以将输入矩阵的输入数据集从流式处理器的第一存储器加载到该流式处理器的第二存储器，输入矩阵包括第一行数和第一列数。该装置还可以利用加载控制单元执行第二加载指令，以将权重矩阵的权重数据集从第一存储器加载到第二存储器，该权重矩阵包括第二列数和第二列数。另外，该装置可以利用流式处理器的算术逻辑单元(ALU)组件使用输入数据集和权重数据集来执行矩阵乘法运算，以生成具有第一行数和第二列数的输出矩阵，其中输出矩阵的每个元素表示输入数据集的行和权重数据集的列的多个元素的点积，并且其中点积包括产生相应的中间结果的多个乘法运算和累加运算，这些中间结果被重新输入到ALU组件以用于该点积的后续运算。此外，该装置可以将输出矩阵存储在流式处理器的通用寄存器中，其中通用寄存器被配置为可由ALU组件存取。

本公开的一个或多个示例的细节在附图和以下描述中进行阐述。本公开的其他特征、目的和优点将从描述和附图以及权利要求中显而易见。

附图说明

图1是图示了根据本发明的一种或多种技术的示例内容生成系统的框图。

图2是图示了根据本公开的一种或多种技术的图1的示例设备的示例图形处理器的框图。

图3图示了根据本发明的一种或多种技术执行矩阵乘法。

图4是根据本文公开的教导在流式处理器处的示例通信流。

图5是根据本文公开的教导在流式处理器处的示例通信流。