[发明专利]一种适用于大维度矩阵乘的链式乘法结构

说明书

本发明公开了一种适用于大维度矩阵乘的链式乘法结构，所述乘法结构包括运算部件、输入传输模块和输出传输模块；所述运算部件为M个基本运算单元PE组成的链状结构，相邻所述基本运算单元PE之间互联，用于实现矩阵的乘积运算；所述基本运算单元PE包括运算模块和存储模块，所述运算模块接收所述输入传输模块传送的源数据进行计算，并将运算结果存入所述存储模块中；所述存储模块将运算结果传输给所述输出传输模块输出。本发明运用流运算思想，无需对源数据缓存，数据进入乘法器后直接参与运算，减少了乘法结构内存储压力；优化数据组织形式，对数据吞吐带宽需求小，在固定带宽下也能发挥极强的运算能力，极大地加速运算时间。

技术领域

本发明涉及大规模计算领域，具体涉及一种适用于大维度矩阵乘的链式乘法结构。

背景技术

近些年来图像视频处理的品质日益提高，机器学习以及信号处理等领域不断突破，矩阵乘法作为核心运算有着重要的作用。然而，矩阵运算具有较高的时间复杂度，传统的串行算法处理效率较低，因此，降低矩阵运算时间复杂度或采用并行结构加速成了研究的关键。另外，大维度矩阵运算应用越来越广泛，如神经网络中的矩阵乘法规模往往是K级以上，如何快速的求解大维度矩阵乘同样是研究的热点。

随着半导体工艺的发展以及集成电路技术的进步，硬件开销对设计所造成的影响越来越小，研究者们逐渐探索和开发并行运算的潜力，诸如脉动以及cannon(优化矩阵分块乘法的算法)、Strassen和基于超立方体结构的Fox算法等算法逐渐被提出。

现有的硬件设计方案大多通过挖掘数据的并行性来提升运算效率，但Strassen、Cannon以及Fox这类算法需要依靠复杂的地址跳变才能实现运算加速，计算复杂且不利于流水化处理，而对于Fox和脉动等采用多播方法的算法，将一行和一列的数据流水化发送到一个计算节点单元计算，虽然提高了计算并行度，但是数据输入输出造成带宽压力随着多播并行度的提高而增大，以目前并行度最高的脉动结构为例，对于N×N的矩阵乘运算脉动结构需要2N个输入和N个输出，输入输出带宽与矩阵规模呈线性关系，矩阵规模越大需要的输入输出带宽越大，一般的运算器难以支撑起大规模并行带来的庞大的输入输出带宽开销,另外在研究脉动结构时，发现脉动结构虽然在小规模矩阵乘中性能非常好，但在大规模矩阵乘中受硬件资源的约束，性能表现较差。可见,现有的硬件设计方案对数据带宽需求高，在处理大规模的矩阵运算时受硬件资源限制。

另外，由于计算资源的受限，在加速大规模矩阵乘法时必须将其划分为粒度较小的子块进行计算，在并行运算中，若运算数据吞吐量达不到并行运算的要求，则会造成运算器停滞，直到数据准备完毕才可以进行运算，很大程度上降低了运算器的利用率。

发明内容

为克服现有技术的不足之处，本发明在脉动结构的基础上，提出一种运算性能高，吞吐带宽要求小，可灵活拓展的适用于大维度矩阵乘的链式乘法结构，以期能够在大维度的矩阵乘法中，解决因数据带宽带来的硬件开销问题和运算停滞效应。利用流运算的方式，乘法结构在数据流入的时刻启动运算，在数据输入完成的同时结束运算，无需存储输入数据，在提升性能的同时避免了数据缓存带来的时间和存储上的浪费。

本发明为达到上述目的所采用的技术方案是：

一种适用于大维度矩阵乘的链式乘法结构，其特征在于，所述乘法结构包括运算部件、输入传输模块和输出传输模块；

所述运算部件为M个基本运算单元PE组成的链状结构，相邻所述基本运算单元PE之间互联，用于实现矩阵的乘积运算；

所述基本运算单元PE包括运算模块和存储模块，所述运算模块接收所述输入传输模块传送的源数据进行计算，并将运算结果存入所述存储模块中；所述存储模块将运算结果传输给所述输出传输模块输出。