[发明专利]基于脉动阵列的转置卷积和卷积加速器芯片设计方法

说明书

本发明公布了一种基于脉动阵列的转置卷积和卷积加速器芯片设计方法，通过设计与转置卷积网络模型和卷积网络模型不同的计算模式和访存模式相对应的芯片加速器阵列，并建立相应的数据流策略将转置卷积和卷积网络模型映射到芯片加速器阵列中，提高芯片加速性能，能够加速对抗生成网络和卷积神经网络的训练过程，有效提升图像处理性能。

技术领域

本发明属于人工智能加速器芯片设计技术领域，具体涉及一种基于脉动阵列的转置卷积和卷积加速器芯片设计方法，包括芯片中的处理单元设计，互连网络设计，片上存储设计和卷积/转置卷积数据流设计。

背景技术

当前，转置卷积和卷积层模型方法已广泛地运用于深度学习的各个应用场景中。通常地，卷积层可用于提取图像中的有用信息，如颜色，轮廓，纹理等特征，并对图像进行下采样处理。卷积层广泛应用于图像识别、机器翻译等场景。转置卷积层可对输入图像进行插入有效信息，即对输入图像进行上采样。转置卷积层广泛应用于图像分割，超分辨图像，图像风格迁移等应用场景。另一方面，在训练卷积神经网络的反向传播(Back-propagation)过程中，不同卷积层之间梯度传播，即为转置卷积操作。而权重梯度的计算则为卷积计算。由此可见，转置卷积和卷积大量地存在于对抗生成网络的推理(Inference)以及卷积神经网络训练(train)的过程中。

目前，转置卷积网络模型越来越多地应用在人工智能芯片设计技术领域。然而，与经过大量优化的卷积相比，转置卷积的加速优化技术仍然处于初级阶段，其芯片加速性能与卷积还有着很大的差距。这是由于转置卷积计算过程中存在“重叠-累加”的过程，该过程会严重限制对芯片中转置卷积的并行加速。尽管可以对芯片的转置卷积进行“插0”操作，将其转换为卷积，但是，这种转换方法引入了大量无效的零元素操作，从而造成芯片计算资源的浪费。另一种方法通过将转置卷积拆分成若干小的卷积操作，然后对这些卷积操作进行加速，从而实现转置卷积芯片的加速。然而，这种方法通常会造成输入图像数据元素和转置卷积权重元素的重复出现和计算，造成额外的存储和计算资源的消耗。同时，生成的若干卷积操作有着尺寸不同的卷积核，造成芯片计算的负载不均衡，降低芯片加速性能。

发明内容

为了克服转置卷积加速器芯片中“重叠-累加”的问题和现有方法的不足，本发明提出一种基于脉动阵列的转置卷积和卷积加速器芯片设计方法，研制人工智能加速器芯片，目的是无需对芯片中的转置卷积进行“插0”操作或者拆分操作，而利用合适的数据流策略直接对转置卷积进行芯片加速计算。此外，可以利用相应的数据流策略高效地支持芯片卷积操作。结果表明，本发明的加速器设计方法可以避免额外的硬件开销，通过对芯片计算资源的有效重复利用，实现对转置卷积和卷积的高性能芯片加速，从而达到加速对抗生成网络的加速器芯片运行效果。本发明可用于图像识别、图像生成和风格迁移等计算机视觉/图像处理应用领域。也可用于加速训练卷积神经网络，提升网络训练速度，提高芯片加速性能。

本发明提供的技术方案是：

一种基于脉动阵列的转置卷积和卷积加速器芯片硬件设计方法，针对转置卷积和卷积网络模型不同的计算模式和访存模式，设计出对应的芯片加速器阵列，并提出相应的数据流策略将转置卷积和卷积运行在芯片加速器上。

本发明提供的基于脉动阵列的转置卷积和卷积加速器芯片硬件设计方法包括以下方面：

1)芯片加速器处理单元(Process Element)设计：

芯片处理单元包括：乘法器、加法器和加法器树；乘法器和加法器用于输入图像元素和权重元素的乘累加操作；加法器树用于在卷积操作中进行输入通道维度的累加计算；

转置卷积和卷积操作中主要包含输入图像元素和权重元素的乘累加操作，因此，在处理单元中设计乘法器和加法器以完成相应的计算；设计一个加法器，在执行转置卷积和卷积时，用于累加处理单元输出的中间结果；此外，为了实现处理单元在卷积操作中输入通道(Input Channel)维度的累加计算，还需在处理单元中设计一个加法器树(AdderTree)。