[发明专利]一种降低加速器外部数据存储带宽需求的系统和方法

说明书

本发明公开了一种降低加速器外部数据存储带宽需求的系统和方法，系统包括：乘法累加计算单元、缓存单元和算术逻辑计算单元，其中所述乘法累加计算单元包括一个由P*P个PE计算子单元组成的计算矩阵，所述计算矩阵用于并行地处理输入数据与权值的乘法累加操作，在所述计算矩阵中，数据向右或者向左地横向流动以及向上或者向下地纵向流动。使得PE计算子单元可以按行和按列加载输入数据，进而使得本系统中的数据具有复用性，减少了数据加载的次数，降低了对数据带宽的占用，从而实现降低卷积神经网络极速器外部数据的存储带宽需求。本发明可以广泛应用于数据处理领域。

技术领域

本发明涉及数据处理领域，尤其是一种降低加速器外部数据存储带宽需求的系统和方法。

背景技术

近年来，随着人工智能的热度上升，人们提出了越来越多的深度学习算法模型以解决当前存在的研究问题，而卷积神经网络在机器视觉领域上取得了巨大的成就。卷积神经网络由于其权值的可重用性大大降低了其权值参数的数量，加速了深度学习模型的计算效率。但是随着卷积神经网络的研究不断深入，层数更多、结构更加复杂的模型被提出来，其自身的大量卷积运算需要硬件加载其大量的权值数据与输入数据，因此嵌入式人工智能硬件处理单元对外部内存带宽的需求增大，而目前外部数据存储器的数据带宽成了卷积神经网络加速器发展的瓶颈。

为了解决内存带宽需求增大的问题，目前主要采取的方案是选用存储带宽更高的外部存储器。但是外部存储器的带宽的增加依赖于存储技术的发展，往往需要付出更高的成本。

因此市场上需要一种能够降低数据存储带宽需求的技术。

发明内容

为解决上述技术问题，本发明的第一目的在于：提供一种能够降低加速器外部数据存储带宽需求的系统。

本发明的第二目的在于：提供一种能够降低加速器外部数据存储带宽需求的方法。

本发明所采取的第一种技术方案是：

一种降低加速器外部数据存储带宽需求的系统，包括：

乘法累加计算单元，用于并行地对输入数据与权值进行处理以及向缓存单元或者算术逻辑单元输出数据，所述处理包括乘法累加操作、比较操作、批标准化操作和激活操作；所述乘法累加计算单元包括一个由P*P个PE计算子单元组成的计算矩阵，所述计算矩阵用于并行地处理输入数据与权值的乘法累加操作，在所述计算矩阵中，数据向右或者向左地横向流动以及向上或者向下地纵向流动，所述P为正整数；

缓存单元，用于存储乘法累加计算单元或者算术逻辑计算单元输出的数据；

算术逻辑计算单元，用于对乘法累加计算单元的输出数据和缓存单元中缓存的数据进行加减操作；

所述乘法累加计算单元、片上分布式缓存单元和算术逻辑计算单元之间两两相互连接。

进一步，所述计算矩阵中的每个PE计算子单元均包括一个用于暂存当前输入数据的第一寄存器、一个用于暂存来自右侧或者左侧的相邻PE计算子单元的数据的第二寄存器以及一个用于暂存来自下侧或者上侧的相邻PE计算子单元的数据的第三寄存器。

进一步，所述算术逻辑计算单元包括P*P个加减计算子单元，所述P*P个加减计算子单元用于并行地计算乘法累加计算单元或者缓存单元输出的多个数据，或者用于向乘法累加计算单元或者缓存单元并行地输出多个数据。

进一步，所述缓存单元为片上分布式缓存单元，所述缓存单元包括P*P个存储子单元，所述P*P个存储子单元用于并行地缓存乘法累加计算单元或者算术逻辑计算单元输出的多个数据，或者用于向乘法累加计算单元或者算术逻辑计算单元并行地输出已缓存的多个数据。

本发明所采取的第二种技术方案是：

一种降低加速器外部数据存储带宽需求的方法，包括以下步骤：