[发明专利]一种卷积神经网络的加速方法及装置

说明书

本发明提供了一种卷积神经网络的加速方法及装置，其中该方法包括：将卷积层的权重矩阵按行拆分为多个权重段，并将多个权重段分别缓存至计算单元阵列中的多个计算单元；读取多个权重段分别对应的多路输入数据流，并将多路输入数据流并行输入至多行计算单元，其中，输入数据流是根据卷积层的输入特征图中的多行数据拼接组成；在每个计算单元内部，基于缓存的权重段对输入数据流进行滑窗操作和乘累加运算，得到卷积层的输出特征图。利用上述方法，进入每一行计算单元的数据是按整行数据连续读取，不需要跨行或者跨列读取，因此无需对内存的排布进行特殊设计，支持不同尺寸的卷积，并且无需实现Im2col的功能，降低了复杂度。

技术领域

本发明属于深度学习领域，具体涉及一种卷积神经网络的加速方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

卷积神经网络(Convolutional Neural Networks，简称CNN)是一种深度前馈人工神经网络，已被应用于诸多领域，如图像识别。卷积神经网络在处理过程中会进行较为复杂的计算，主要包括卷积计算、批标准化计算、激活计算等。目前大部分神经网络芯片(NPU)主要就是要解决CNN的计算问题，对CNN的计算进行加速。

现有技术中，常用的方法是利用Im2col函数优化卷积运算。如图1所示，在CNN学习训练过程中，通常不会一次处理整张图片，而是先将图片划分为多个小的块(patch)，并且每个patch需要经过Im2col处理进行重排，将三维的patch展开成为一维向量，进而可以将卷积操作转换为二维矩阵乘法：C＝D×W，其中D为输入图像矩阵，W为权重矩阵。

在上述方案中，计算一个卷积需要同时访问多行和多列的数据，以3*3的卷积为例的话，一次卷积需要的9个数分布在3行和3列，应当理解，数据读取只有针对连续的数据才能确保数据读取的带宽，如需同时访问到上述9个数需要对内部存储器的排布做特殊设计，例如通过内部存储器切分提高内存访问的并行度。然而，由于NPU通常需要支持不同尺寸的卷积，因此若需要实现针对不同的卷积核的通用性，则需要把内存切分成很多小块才能兼容各种设置，这样一方面会增大内部存储器的面积，另一方面提升了数据访问逻辑的复杂度。因此，设计出一种具有高通用性、低复杂度的卷积神经网络的加速方法是当前亟需解决的技术问题。

发明内容

针对上述现有技术的卷积运算的通用性较差且复杂度高的问题。本发明实施例提出了一种卷积神经网络的加速方法及装置。利用这种方法及装置，能够解决上述问题。

本发明的实施例中提供了以下方案。

第一方面，提供一种卷积神经网络的加速方法，方法包括：将卷积层的权重矩阵按行拆分为多个权重段，并将多个权重段分别缓存至计算单元阵列中的多个计算单元；读取多个权重段分别对应的多路输入数据流，并将多路输入数据流并行输入至多行计算单元，其中，输入数据流是根据卷积层的输入特征图中的多行数据拼接组成；在每个计算单元内部，基于缓存的权重段对输入数据流进行滑窗操作和乘累加运算，得到卷积层的输出特征图。

在一种可能的实施方式中，读取多个权重段分别对应的多路输入数据流，还包括：针对每个权重段，根据卷积层的卷积步长确定输入特征图中的多行数据，并依次读取多行数据以拼接组成每个权重段对应的输入数据流。

在一种可能的实施方式中，基于缓存的权重段对输入数据流进行滑窗操作和乘累加运算，还包括：在每个计算单元内部，将缓存的权重段作为滑动窗，并将卷积层的卷积步长作为滑动步长，对输入每个计算单元的输入数据流进行滑窗操作，并根据权重段和窗内数据进行乘累加运算。