[发明专利]卷积运算装置、方法及相关产品

说明书

本披露公开了一种卷积运算装置、利用卷积运算装置实施的卷积运算方法及相关产品。该卷积运算装置可以作为计算装置包括在组合处理装置中，该组合处理装置还可以包括接口装置和其他处理装置。该计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与计算装置和其他处理装置连接，用于存储该计算装置和其他处理装置的数据。本披露的方案对多维数组的卷积运算进行优化，提高了运算处理效率。

技术领域

本披露一般地涉及数据处理领域。更具体地，本披露涉及一种卷积运算装置、由卷积运算装置实施的执行卷积运算的方法、芯片和板卡。

背景技术

目前，深度学习(Deep Learning)已经成为机器学习中的重要分支，也大力助推着人工智能(AI)的发展。深度学习的核心技术——深度神经网络(DNN)已在诸多行业有着广泛的应用。

卷积层是神经网络模型中的常用隐含层之一，其通过卷积运算对输入数据进行特征提取。神经网络模型中包含了大量的卷积运算，卷积运算的计算性能极大地影响整个神经网络模型的计算性能。在卷积运算中，对于卷积层的滤波器的各个维度，既存在指令对齐的要求，又存在硬件(例如，并行运算器)对齐的要求。因此，需要对卷积运算进行优化，以提高执行神经网络模型的计算性能。

发明内容

为了至少解决如上所提到的一个或多个技术问题，本披露在多个方面中提出了一种卷积运算装置，其通过复用卷积核，可以有效提高卷积运算的运算效率。本披露实施例的卷积运算可以是各种神经网络模型中的运算，这些神经网络模型可以应用于各种领域，诸如图像处理、语音处理、文本处理等等，这些处理例如可以包括但不限于识别和分类。

在第一方面中，本披露提供了一种卷积运算装置，包括：乘加运算阵列，用于对输入数据块和卷积核执行乘加运算，其中在每轮运算中，所述卷积核复用N次，分别与输入数据块中的N个对应部分执行乘加运算并输出N个部分和结果，N为2的幂次并且大于1；以及累加电路，用于对所述乘加运算阵列多轮输出的所述N个部分和结果分别进行累加，以得到N个累加结果。

在第二方面中，本披露提供了一种芯片，其包括前述第一方面的任一实施例的卷积运算装置。

在第三方面中，本披露提供了一种板卡，其包括前述第二方面的任一实施例的芯片。

在第四方面中，本披露提供了一种由卷积运算装置实施的执行卷积运算的方法，所述卷积运算装置包括乘加运算阵列和累加电路，所述方法包括：利用乘加运算阵列对输入数据块和卷积核执行乘加运算，其中在每轮运算中，所述卷积核复用N次，分别与输入数据块中的N个对应部分执行乘加运算并输出N个部分和结果，N为2的幂次并且大于1；以及利用累加电路对所述乘加运算阵列多轮输出的所述N个部分和结果分别进行累加，以得到N个累加结果。

通过如上所提供的卷积运算装置、芯片、板卡以及由卷积运算装置实施的执行卷积运算的方法，本披露的方案通过多次复用卷积核来优化卷积运算。本披露的实施例尤其适用于卷积核的输入通道维度大小较小的情况。在常规卷积运算中，当卷积核的输入通道维度较小时，为了充分利用带宽，适配运算器阵列的吞吐量，会存在向量化对齐的限制，将造成较多的冗余计算。本披露实施例通过在输入的同一行数据处理中复用卷积核，可以降低对卷积核的输入通道维度的对齐要求，从而尽可能减少冗余计算，避免造成运算资源的浪费，提高卷积运算在硬件加速时的计算性能。

附图说明

通过参考附图阅读下文的详细描述，本披露示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本披露的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是示出本公开实施例的板卡的结构图；

图2是示出本公开实施例的集成电路装置的结构图；

图3是示出本公开实施例的单核计算装置的内部结构示意图；