[发明专利]具有减小的带宽要求的矩阵乘法

说明书

技术领域

本发明的实施例大体上涉及使用多线程处理或向量处理来执行矩阵乘法，且更具体来说涉及减小存储器带宽。

背景技术

矩阵—矩阵乘法是高性能计算领域中许多计算的重要构成块。用于执行矩阵-矩阵乘法的每个乘法-加法运算均需要存取存储器中的两个源操作数。因此，在同时执行T个线程(每个线程执行一乘法—加法运算)的多线程处理器中，需要2T个存储器操作数来供给用于运算的乘法部分的操作数。类似地，在并行执行T个数据通道的向量处理器(例如，T通道单指令多数据(SIMD)向量处理器)中，每个向量乘法-加法需要2T个存储器操作数。一般来说，提供用于2T个同时存取的存储器带宽随着T增加而逐渐变难，且因此矩阵乘法对于充分大的T来说存储器带宽变得有限。这限制了处理装置针对矩阵乘法的整体计算性能。

因此，期望减小供给用于乘法-加法运算所需的存储器带宽，以改进针对矩阵乘法的计算性能。

发明内容

本发明涉及用于使用多线程处理器减小矩阵乘法的存储器带宽要求的新的系统和方法。通过以在矩阵乘法的给定步骤中，T个执行线程群组或T个向量通道对其各自乘法-加法运算共享两个源操作数中的一个的方式执行两个矩阵的乘法，可减小存储器带宽要求。通过在多线程处理装置内包括操作数传播机制来利用此方法。传播机制允许将一个存储位置的内容传播到线程群组中的所有T个线程或向量中的所有T个通道，在该处所述值可用作执行指令的源操作数，所述执行指令包括构成乘法-加法运算的一个或多个指令。所述机制提供软件方式来控制此传播传递。当使用传播机制时，可减小执行例如乘法-加法的运算所需的存储器带宽要求。

对于每个同时执行的乘法-加法运算，与使用执行矩阵乘法的常规方法时的2T个存储器位置相反，线程群组的T个执行线程仅存取T+1个存储器位置。当存储器带宽受限时，减小获得用于矩阵乘法运算的操作数所需的存储器带宽可改进矩阵乘法性能。此外，可改进其它的存储器带宽受限的运算的性能。

本发明的用于执行线程群组中多个线程的程序指令的方法的各种实施例包括获得由所述程序指令包括的传播操作数规定的第一值和获得由所述程序指令包括的并行操作数规定的一组第二值，其中所述第二值中的每一者均对应于所述线程群组中多个线程中的一者。将所述第一值提供到多个程序指令执行单元，将所述第二值提供到所述多个程序指令执行单元，且针对所述线程群组中多个线程中的每一者执行所述程序指令。

本发明的用于将第一矩阵与第二矩阵的第一列相乘以产生乘积矩阵的第一列的方法的各种实施例包括将第一矩阵的第一列的每个元素乘以第二矩阵的第一列的第一元素以产生对应于乘积矩阵的第一列的第一元素群组，将对应于乘积矩阵的列的第一元素群组存储在一组寄存器中，将第一矩阵的第二列的每个元素乘以第二矩阵的第一列的第二元素以产生对应于乘积矩阵的第一列的第二元素群组，将所存储的元素群组中的每个元素与第二元素群组中的相应元素求和以产生乘积矩阵的第一列内的乘积元素群组，和将所述乘积元素群组存储在所述组寄存器中。

附图说明

为了能详细理解上文陈述的本发明的特征，参考实施例可获得上文简要概述的本发明的更特定描述，所述实施例中的某些在附图中有说明。然而应注意，附图仅说明本发明的典型实施例，且因此不应视为限制本发明的范围，本发明可允许其它同样有效的实施例。

图1A说明根据本发明一个或一个以上方面的经相乘以产生矩阵C的矩阵A和矩阵B的概念图。

图1B说明根据本发明一个或一个以上方面的将矩阵A与矩阵B相乘以产生矩阵C的示范性方法的流程图。

图1C说明根据本发明一个或一个以上方面的接收并行操作数和传播操作数的多个执行单元的概念方框图。

图2说明根据本发明一个或一个以上方面的执行包括传播操作数的指令的示范性方法的流程图。

具体实施方式

在以下描述中，陈述多种特定细节来提供对本发明的更彻底的理解。然而，所属领域的技术人员将明了，可在没有这些特定细节中的一个或一个以上细节的情况下实践本发明。在其它情况下，为了避免混淆本发明，没有描述众所周知的特征。