[发明专利]多样本神经网络前向传播向量化实现方法

说明书

本发明公开一种多样本神经网络前向传播向量化实现方法，步骤包括：步骤1：将输入特征数据按照样本维优先的方式存储，以及将权重数据按照输入特征维优先的方式存储；步骤2：按列将输入特征数据集数据矩阵划分为多个矩阵块；步骤3：将权重数据矩阵传输到各个核的SM中，并将每个输入特征数据矩阵传输到各个核的AM中，通过向量化矩阵乘法和并行化矩阵乘法计算；步骤4：各个核将输出特征矩阵与偏置数据列向量进行并行加法计算；步骤5：将输出特征矩阵计算结果存储在向量处理器的片外存储器中；步骤6：重复步骤3至5，直到完成计算。本发明具有实现方法简单、能够充分发挥向量处理器计算性能且实现效率高、带宽需求小以及通用性强等优点。

技术领域

本发明涉及向量处理器技术领域，尤其涉及一种多样本神经网络前向传播向量化实现方法。

背景技术

近年来基于神经网络的深度学习模型在图像识别和分类、自然语言处理、语音识别、自动驾驶、视频分析、在线广告、推荐购物等各个方面取得了令人瞩目的成就，成为学术界和工业界的研究热点，并且促进了人工智能、大数据处理、处理器等相关技术的快速发展。通常神经网络(Neural Networks)包括输入层、若干隐藏层和输出层，输入层包含了神经网络的输入，输出层负责产生神经网络的预测值。通过监督学习训练一个神经网络时，训练集中包含了输入数据以及目标的输出值，而中间的隐藏层的信息是不确定的，需要通过训练学习获得，训练集的规模以及训练学习效率、方法都会得到不同的隐藏层数据。隐藏层的权重、层数、每层的神经元数目等数据则直接决定了该神经网络模型的计算性能和效率，因此隐藏层的计算，尤其是卷积层计算，对处理器计算要求很高。

神经网络计算采用较多的是基于梯度下降(Gradient Descent)的优化算法，主要包括随机梯度下降法(Stochastic Gradient Descent)、批梯度下降法(Batch GradientDescent)、小批梯度下降法(Mini-batch Gradient Descent)，其中随机梯度下降法针对单个样本的数据计算梯度方向，准确度低、不易收敛，而批梯度下降法是针对所有样本的数据计算求解梯度的方向，在样本数量很多时效率低下，小批梯度下降法则是将所有样本划分为若干个子样本集，每次针对一个子样本集求解梯度的方向，兼顾了效率和准确度，而且还可以根据处理平台设置不同的Mini-batch大小，是目前主要的优化算法。

随着神经网络规模的不断扩大，神经网络参数规模以及训练数据集也越来越大，大规模的神经网络计算对处理器的处理性能和数据存储带宽也越来越高。目前业界广泛是采用高性能GPU，甚至设计专用的神经网络处理器来加速神经网络计算。

向量处理器是一种新颖的体系结构，在保持较低功耗的同时，具有强大的计算能力，适合加速神经网络计算。如图1所示，向量处理器通常包括标量处理部件(ScalarProcessing Unit，SPU)和向量处理部件(Vector Processing Unit，VPU)，SPU负责标量任务计算和流控，VPU负责向量计算，提供主要的计算能力，包括若干向量处理单元(VectorProcessing Element，VPE)，每个VPE包含MAC、ALU、BP等多个运算功能部件。SPU和VPU之间提供数据传输和交换机制，实现标、向量数据的共享和通信。向量数据访问单元支持向量数据的Load/Store，提供大容量的专用向量阵列存储器(Array Memory，AM)以及标、向量共享的片外存储器。

针对向量处理器的体系结构特点，目前存在各种卷积计算的向量化实现方法，如中国专利申请201810687639.X公开的一种向量处理器的卷积神经网络运算向量化方法、专利申请201810689646.3公开的一种面向GPDSP的卷积神经网络多核并行计算方法、专利申请201710201589.5公开的一种面向向量处理器的二维矩阵卷积的向量化实现方法等，但是上述方案都是采用将权重数据加载到向量阵列存储器AM中，将输入图像特征数据加载到向量阵列存储器的标量存储SM中来完成卷积计算的方式，且大多是采用按照第三维顺序对数据进行重排序，因而要实现神经网络前向传播向量化，则会存在以下问题：