[实用新型]一种用于执行神经网络计算的脉动阵列系统及处理设备

说明书

本实用新型实施例公开了一种用于执行神经网络计算的脉动阵列系统及处理设备，本公开基于脉动阵列系统建立，核心组成包括：脉动阵列单元，用于数据传输和乘加计算，由若干相同的处理单元耦合而成；存储阵列，用于将传输脉动阵列单元的矩阵进行暂存和缓存处理，存储阵列包括与权值数据和神经元数据相关的多种性质数据对应的不同存储阵列。通过存储阵列与脉动阵列单元的相对位置优化，实现了数据矩阵在脉动阵列单元内部的可控转置。另一方面，多种存储阵列的存在，使得在采用本实用新型实施例时，能够解决现有脉动阵列系统难以实现的高效流水作业，提高了装置运行效率，还使脉动阵列系统具有能够应对多个不同权值矩阵的灵活性。

技术领域

本实用新型涉及人工智能技术，尤其涉及一种实施神经网络矩阵乘加运算装置。

背景技术

当下来自物联网、互联网的可用数码数据呈指数增长，这驱动了对高性能数据分析算法的需求，在众多算法中又以深度神经网络(Deep Neural Network，DNN)尤为突出，其应用领域包括目标识别、自动驾驶和无人机导航等。但深度神经网络的实现需要进行大量数据的传输和计算，传统处理架构在面对复杂度高且数量巨大的数据传输和运算时无法实现平衡且高效运行，主要体现在海量的数据传输、载入、计算在使用传统的处理架构时存在资源占用多、运算速度慢、能量消耗大等问题。因此，一个能提高计算效率且能高传输数据流的方法对于实现深度神经网络计算至关重要。

脉动阵列(Systolic Array)结构是一种由多个处理单元耦合形成的网络，每个重复的处理单元可以独立地进行计算，并将结果传递给周围的处理单元。脉动阵列的结构特性使它能够在消耗较小的内存带宽的基础上实现高的运算吞吐量，这恰好满足了深度神经网络计算的特点需求。脉动阵列使数据传输在阵列内部进行，通过使数据在处理单元间不断流动，降低了系统的负担。此外，由于脉动阵列具有复用计算单元的特性，还以较小带宽实现了较高的运算吞吐率。但目前的脉动阵列灵活性较差且不能在脉动阵列中实现矩阵变换，例如在深度神经网络运算中除了载入最常用的权值矩阵，在核心的反向传播运算中需要载入转置的权值矩阵时需要停止数据流动，求出转置的权值矩阵后再载入网络。另一方面，目前的脉动矩阵仅支持将权值固定在阵列中再进行运算的形式，这使得每次载入新的权值矩阵时均需要停止数据流动，造成较大的时滞。

实用新型内容

本实用新型的目的之一在于提供一种基于脉动阵列的神经网络计算装置，以解决现有脉动阵列灵活性差、运算涉及多个权值矩阵时效率较低等技术问题。

为实现上述目的，根据本实用新型的第一方面，提供了一种用于执行神经网络计算的脉动阵列系统。该系统提供有输入矩阵，输入矩阵包括权值矩阵和神经元数据矩阵，该脉动阵列系统包括脉动阵列单元、存储阵列、运算单元和控制单元。其中脉动阵列单元由若干结构相同的处理单元构成二维矩阵形式，每个处理单元至少包括一个内置的运算器和两个内置的寄存器，每个处理单元在脉动阵列单元的行方向上和列方向上与相邻的处理单元耦合。每个处理单元接收控制单元指令，并使用内置的运算器对输入矩阵中的元素执行相关运算得到结果矩阵，每个处理单元还使用内置的寄存器将接收到的输入矩阵的元素或结果矩阵的元素沿对应矩阵的传动方向传递给下一个处理单元。其中运算单元由处理单元中的运算器耦合而成。

具体的，存储阵列包括转置权值矩阵存储阵列，转置权值矩阵存储阵列设有输入端阵列，该输入端阵列为第一输入端阵列，转置权值矩阵存储阵列的输入端为第二输入端阵列。第一输入端阵列与脉动阵列单元中由处理单元耦合而成的一条外边缘相连接，与第一输入端阵列相连的脉动阵列单元外边缘与输入矩阵的传入方向平行。

存储阵列还包括神经元数据矩阵存储阵列，神经元数据矩阵存储阵列的输入端阵列为第二输入端阵列，第二输入端阵列与脉动阵列单元中由处理单元耦合而成的一条外边缘相连接，脉动阵列单元中与第一输入端阵列和第二输入端阵列连接处的两条外边缘相邻或平行；

存储阵列用于接收外部传入脉动阵列单元的上述输入矩阵，并按照先进先出规则将其输出到运算单元进行运算得到结果矩阵。