[发明专利]多样本神经网络前向传播向量化实现方法

权利要求书

1.一种多样本神经网络前向传播向量化实现方法，其特征在于，步骤包括：

步骤1：将神经网络计算的输入特征数据按照样本维优先的方式存储，以及将权重数据按照输入特征维优先的方式存储；

步骤2：向量处理器按列将输入特征数据集数据矩阵划分为多个矩阵块，得到多个输入特征数据矩阵；

步骤3：向量处理器将权重数据矩阵传输到各个核的标量存储器SM中，并将所述步骤2划分的每个输入特征数据矩阵传输到各个核的向量阵列存储器AM中，通过执行向量化矩阵乘法计算和各个核的并行化矩阵乘法计算，得到输出特征数据矩阵；

步骤4：向量处理器的各个核将步骤3得到的输出特征矩阵与偏置数据列向量进行并行加法计算，得到输出特征矩阵计算结果；

步骤5：将步骤4得到的所述输出特征矩阵计算结果存储在向量处理器的片外存储器中；

步骤6：重复步骤3至5，直到完成全部输入特征数据矩阵计算。

2.根据权利要求1所述的多样本神经网络前向传播向量化实现方法，其特征在于，所述步骤1中将神经网络计算的输入特征数据按照样本维优先的方式存储具体为：输入特征数据集按照N*M阶的矩阵连续存储在向量处理器的片外存储器，M为数据集的总样本数目，N为输入特征数目；将权重数据按照输入特征维优先的方式存储具体为将权重数据重排序后，按照K*N阶的矩阵连续存储在向量处理器的片外存储器，得到权重数据矩阵，其中K为输出特征数目。

3.根据权利要求2所述的多样本神经网络前向传播向量化实现方法，其特征在于，所述步骤2中具体将所述输入特征数据集数据矩阵划分为num个矩阵块，每个矩阵块的大小为N*MB阶，其中M＝num*MB，MB＝q*p，q为目标向量处理器的核数，p为每个核的向量处理单元VPE个数。

4.根据权利要求3所述的多样本神经网络前向传播向量化实现方法，其特征在于，所述步骤3中执行向量化矩阵乘法计算和各个核的并行化矩阵乘法计算的具体步骤包括：

步骤3.1：向量处理器将N*MB阶的所述输入特征数据矩阵分别传输到向量处理器的各个核的向量阵列存储器AM中预设的输入特征数据缓冲区中，每个核传入的输入特征数据矩阵规模为N*p阶；

步骤3.2：向量处理器将K*N阶的所述权重数据矩阵分别传输到向量处理器各个核的标量存储器SM中预设的权重数据缓冲区中，每个核传入的权重数据矩阵规模为K*N阶；

步骤3.3：向量处理器的各个核的向量处理部件VPU依次从所述输入特征数据缓冲区读取一行输入特征数据到一个向量寄存器；

步骤3.4：向量处理器的各个核的标量处理部件SPU依次从所述权重数据缓冲区按行读取一个权重数据到一个标量寄存器中，通过标量广播指令广播到一个向量寄存器，该向量寄存器与步骤3.3得到的向量寄存器进行乘累加计算；

步骤3.5：判断是否遍历所述权重数据矩阵一行的N个元素数据，若不是则跳转至步骤3.3，且步骤3.3中读取位置移到下一行、步骤3.4中读取位置移到下一元素；若是则每个核完成该行数据计算对应的p个输出特征数据的计算，跳转步骤3.6；

步骤3.6：判断是否遍历完所述权重数据矩阵的所有K行数据，若不是则跳转至步骤3.3，且步骤3.3中读取位置回到输入特征数据缓冲区起始地址、步骤3.4中读取位置移到下一行首地址；若是则遍历完K行，向量处理器完成K*MB阶的输出特征数据的计算。

5.根据权利要求4所述的多样本神经网络前向传播向量化实现方法，其特征在于，上述所述步骤3.1中输入特征数据缓冲区和/或所述步骤3.2中权重数据缓冲区设置有两个，对其中一个数据缓冲区执行计算的同时对另一个数据缓冲区进行数据传输。

6.根据权利要求3～5中任意一项所述的多样本神经网络前向传播向量化实现方法，其特征在于，所述步骤4的具体步骤包括：将步骤3得到的K*MB阶的所述输出特征矩阵的每个列向量与所述偏置数据列向量的每个对应元素进行加法计算，得到K*MB阶的输出特征矩阵计算结果。