[发明专利]一种多输入多输出矩阵卷积的并行处理方法

说明书

一种多输入多输出矩阵卷积的并行处理方法，其步骤为：S1：依据向量处理器的向量处理单元VPE的数量N等参数确定输出特征图的最优计算方案；S2：将M张输入特征图依次存入外部存储DDR中，将N个输入卷积核按照第3维，按行的方式进行拼接；S3：加载输入特征图1的第一个元素，广播至向量寄存器，同时加载AM中卷积核的第一行元素至向量寄存器中；S4：进行k×k次累加，完成输入特征图1的计算；同时加载第2幅输入特征图；S5：重复直至完成N个输出特征图第一个元素的计算；S6：根据移动步长完成N个输出特征图所有元素的计算；S7：以上步骤循环最终完成。本发明具有实现简单、操作方便、可提高向量处理器并行性、能提高处理器运算效率等优点。

技术领域

本发明主要涉及到人工智能、机器学习、卷积神经网络领域，特指一种多输入多输出矩阵卷积的并行处理方法。

背景技术

随着深度学习技术的兴起，基于卷积神经网络的目标识别技术取得了突破性的进展，其在图像识别、语音识别、自然语言处理等领域取得了广泛的使用。矩阵卷积是一种计算密集型和访存密集型计算，而卷积神经网络模型中的矩阵卷积运算往往占据一个卷积神经网络模型计算量的85％以上，因此如何加速矩阵卷积运算是当前研究的一个重点和难点。

针对计算和访存密集型的矩阵卷积运算，当下学术界核工业界提出了不同的加速该运算的方法，有基于FPGA的从硬件上设计支持卷积计算的专用神经网络加速器，有基于GPU的采用基于FFT的方法或者将卷积核矩阵扩充成大矩阵进而通过矩阵与矩阵的乘法来加速矩阵卷积的计算，不管是哪种方法，基本上都是针对某种体系结构进行的优化，可以通过硬件上的支持以及算法上的改进来进行加速运算。

如图1所示，向量处理器就是其中的一种新型的体系结构，其包括向量处理器单元(VPU)和标量处理单元(SPU)，向量处理部件中通常包含多个并行的向量处理单元(VPE)，VPE之间可以通过规约和混洗进行数据交互，所有的VPE基于SIMD执行同样的操作。

矩阵卷积是卷积神经网络模型中常用的核心模块之一，其不仅是计算密集和访存密集，由于矩阵卷积计算中卷积核的规模一般比较小，因此，若不能采取合理的计算方法，即使使用高性能的计算设备也难以发挥出应有的计算优势。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现简单、操作方便、可提高向量处理器并行性、能提高处理器运算效率的多输入多输出矩阵卷积的并行处理方法。

为解决上述技术问题，本发明采用以下技术方案：

一种多输入多输出矩阵卷积的并行处理方法，其步骤为：

S1：依据向量处理器的向量处理单元VPE的数量N、输入特征图的数量M，卷积核的数量P，卷积核的尺寸k，移动步长s，确定输出特征图的最优计算方案；

S2：将M张输入特征图依次存入外部存储DDR中，将N个输入卷积核按照第3维，按行的方式进行拼接，并将完成拼接后的卷积核矩阵传入向量处理器的向量存储体中；其中，N≤P；

S3：加载输入特征图1的第一个元素，广播至向量寄存器，同时加载AM中卷积核的第一行元素至向量寄存器中，进行乘加并累加至累加寄存器中；

S4：进行k×k次累加，完成输入特征图1的计算；同时加载第2幅输入特征图，并加载第2个卷积核矩阵的第一行元素；

S5：重复S3-S4直至完成N个输出特征图第一个元素的计算；

S6：根据水平或垂直方向的移动步长，移动s个元素的距离，重复步骤S3-S5直至完成N个输出特征图所有元素的计算；

S7：以上步骤共循环P/N次，最终完成P个输出特征图所有元素的计算。