[发明专利]一种膨胀卷积加速计算方法及装置

说明书

本发明提供了一种膨胀卷积加速计算方法及装置，其中该方法包括：将R×S的膨胀卷积运算分解为S个R×1的子膨胀卷积运算；针对每个子膨胀卷积运算，将多个权重值并行缓存至计算单元阵列中的多个计算单元；从输入图像数据中确定分别对应于多个权重值的多路输入数据流，将多路输入数据流并行输入多个计算单元；在多个计算单元内部，基于缓存的权重值和输入数据流执行滑窗操作和乘法操作，并在多个计算单元之间执行累加操作，以输出所述子膨胀卷积运算的中间结果；叠加S个R×1的子膨胀卷积运算的中间结果，得到膨胀卷积运算的卷积结果。利用上述方法，以较低复杂度实现加速膨胀卷积运算，不需要单独实现Im2col的功能，降低了复杂度。

技术领域

本发明属于深度学习领域，具体涉及膨胀卷积加速计算方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

卷积神经网络(Convolutional Neural Networks，简称CNN)是一种深度前馈人工神经网络，已被应用于诸多领域，如图像识别。卷积神经网络在图像数据的处理过程中会进行较为复杂的计算，主要包括卷积计算、批标准化计算、激活计算等。

用CNN进行图像处理时，通常需要经过多次卷积和池化操作增大模型的感受野。池化可以减少图像的尺寸，再使用卷积核可以增大感受野；经过卷积和池化的特征图会比较小，这时可以传到全连接网络进行分类。但是在进行图像分割时，需要针对每个像素点进行预测，因此还要把减小尺寸后的特征图通过上采样的方法(如deconv反卷积)转回原始图像尺寸再进行预测。在这一过程的主要问题：(1)信息丢失，池化操作是不可逆转的，通过对特征图进行上采样还原图像尺寸时丢失信息。(2)无法重构小的物体图像，如果一个物体占4×4的像素，则经过4次池化操作之后，物体的信息就无法重构了。因此，为了避免使用池化等操作扩大感受野，《MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS》中提出了膨胀卷积(dilated convolution)。膨胀卷积运算会在卷积的过程中将卷积核扩张到指定尺寸，并将原卷积核中没有占用的区域用零填充。

现有技术中，为了加速对图像数据进行卷积计算以得到图像处理结果，常用的方法是利用Im2col函数优化卷积运算。在CNN学习训练过程中，通常不会一次处理整张图片，而是先将图片划分为多个小的块(patch)，并且每个patch需要经过Im2col处理进行重排，将三维的patch展开成为一维向量，进而可以将卷积操作转换为二维矩阵乘法。

在上述方案中，当计算一次膨胀卷积需要同时访问多行和多列的数据，如图1所示，以尺寸为3*3、膨胀率为2的膨胀卷积为例的话，一次膨胀卷积需要的9个数分布在3行和3列，应当理解，数据读取只有针对连续的数据才能确保数据读取的带宽，如需同时访问到上述9个数需要对内部存储器的排布做特殊设计，例如通过内部存储器切分提高内存访问的并行度。然而，由于NPU通常需要支持不同尺寸的卷积，因此若需要实现针对不同的卷积核的通用性，则需要把内存切分成很多小块才能兼容各种设置，这样一方面会增大内部存储器的面积，另一方面提升了数据访问逻辑的复杂度。

因此，设计出一种具有高通用性、低复杂度的膨胀卷积加速计算方法是当前亟需解决的技术问题。

发明内容

针对上述现有技术的膨胀卷积运算的实现通用性较差且复杂度高的问题。本发明实施例提出了一种膨胀卷积加速计算方法及装置。利用这种方法及装置，能够解决上述问题。

本发明的实施例中提供了以下方案。