[发明专利]一种硬件加速器多阵列并行计算方法及系统

权利要求书

1.一种硬件加速器多阵列并行计算方法，其特征在于，包括以下步骤：

S1，对硬件加速器多阵列中的卷积运算进行分块处理；

S2，根据分块处理后的单层卷积，加载GEMM运算所需的输入数据以及权重数据，根据加载的输入数据、权重数据及数据在缓存中的起始地址进行多阵列并行计算；

S3，将多阵列并行计算的中间结果数据存入各计算模块对应的累加缓存地址中。

2.根据权利要求1所述的一种硬件加速器多阵列并行计算方法，其特征在于，将卷积运算的具体分为在芯片或FPGA上实现输入与权重数据读取与计算的片上与片外12层循环控制，其中外层4层循环表示对卷积分块读取后的输入与权重数据的片外循环读取控制，内层的8层循环表示在部署了加速器的硬件片上完成的GEMM运算对应的卷积分块读取与计算循环控制，其中的最内层2层循环表示向量-矩阵乘法。

3.根据权利要求2所述的一种硬件加速器多阵列并行计算方法，其特征在于，单次GEMM运算加载的输入数据大小为(CI_in×ho_in×wo_in×CHAN_IN)；加载权重数据的大小为(CO_in×kw×kh×CHAN_IN×CHAN_OUT)，根据加载数据大小及权重，得到(CI_in×CO_in×ho_in×wo_in×CHAN_OUT)大小的累加运算结果；

其中ho_in和wo_in分别为fea_inp数据的分块大小，kw、kh为卷积核的大小，CHAN_IN和CHAN_OUT表示GEMM阵列对输入特征的多通道并行乘累加处理的通道数和并行输出的通道数，即一个计算阵列的大小为(1，CHAN_IN)×(CHAN_IN，CHAN_OUT)，也表示GEMM核每次最少完成这个大小的向量-矩阵乘法运算。

4.根据权利要求2所述的一种硬件加速器多阵列并行计算方法，其特征在于，将内层8层循环中除去2层向量矩阵乘循环的中间6层循环对应成3层循环控制，该3层循环的最内层循环设定了输入数据、权重数据、累加结果数据在缓存中的基地址，与外两层循环的偏移量相加，得到数据在缓存中的实际地址，访问缓存读取数据，执行向量-矩阵乘法，将乘累加的结果写回片上缓存。

5.根据权利要求4所述的一种硬件加速器多阵列并行计算方法，其特征在于，最外层循环：fea_inp数据中每kw列作为一个单元，这个单元内的数据与wgt数据乘累加计算完毕后，得到acc矩阵中第一列的结果，按照wo_in次数循环计算。

6.根据权利要求4所述的一种硬件加速器多阵列并行计算方法，其特征在于，第二层循环：在每个kw列数据组成的小单元中，按从左到右的顺序，fea_inp buffer中第一列的数据先和wgt buffer中第一列的数据进行乘累加运算，结果放在acc buffer中的第一列；接着计算fea_inp buffer和wgt buffer中第二列的数据，结果与acc buffer第一列中已有的结果相加，重新作为acc buffer中第一列的结果；重复第2层循环，直到计算完一个小单元内的kw列数据；得到acc buffer中第一列的最终结果。

7.根据权利要求4所述的一种硬件加速器多阵列并行计算方法，其特征在于，第3层循环：在第1列中，首先取前ho_in个数据，与权重矩阵中第1列第1行的数据进行计算，运算结果放在acc矩阵中第一列；接着取第一列中从第二行开始的ho_in个数据，与权重矩阵中第1列第2行的数据进行计算，运算结果与刚刚存放在acc矩阵中的结果相加，重新作为acc矩阵第一列的结果进行储存；计算完第一列共循环kh次，直到乘累加运算结束。

8.一种硬件加速器多阵列并行计算系统，其特征在于，包括分块模块和处理模块；

分块模块用于对硬件加速器多阵列中的卷积运算进行分块处理；

处理模块根据分块处理后的单层卷积计算，加载输入数据以及权重数据，根据加载的输入数据、权重数据以及数据的起始地址并行进行计算。