[发明专利]神经网络加速器

说明书

本申请涉及人工智能领域下的一种神经网络加速器。该神经网络加速器包括：多个PE，其中，所述多个PE分成多个组，所述多个组的每一个组对应输入张量的一部分，与该组对应的输入张量的一部分在神经网络算子下的运算按照与该组对应的状态展开方式展开成多种状态，该组所包括的PE与所述多种状态一一对应并执行所述神经网络算子在对应状态下的运算。

技术领域

本申请涉及人工智能领域，具体涉及一种神经网络加速器。

背景技术

人工智能(Artificial Intelligence，AI)研究人类智能的本质并构建能以人类智能相似的方式作出反应的智能机器。人工智能应用领域的研究包括机器人、语音识别、自然语言处理、图像识别、决策推理、人机交互和专家系统等。机器学习(Machine Learning，ML)研究人工智能系统如何模拟或实现人类的学习行为，获取新的知识或既能，重新组织已有知识结构以及改善自身能力。机器学习通过各种算法从大量样本、数据或者经验中学习规律，从而对新的样本做出识别或者对事件做出决策和预测。机器学习算法的例子包括决策树学习、贝叶斯分类、支持向量机、聚类算法等。深度学习(Deep Learning，DL)参考了人类大脑的天然深层结构和按深度分级的认知过程，研究如何将大量数据输入复杂模型中，并“训练”模型来学习如何抓取特征。

神经网络(Neural Network，NN)可以分成人工神经网络(Artificial NeuralNetwork，ANN)和脉冲神经网络(Spiking Neural Network，SNN)。SNN模仿生物神经工作机制的脉冲神经元模型，计算过程中采用脉冲编码的信息。目前获得广泛应用的是ANN，本文中所提及的神经网络NN，除非特别说明否则应理解成人工神经网络ANN。ANN指的是受到大脑神经元结构及神经传导原理的启发而建立的算法数学模型，具有模仿动物神经网络行为特征进行信息处理的网络结构。神经网络包括大量相互联接的节点或者称神经元，这些节点或称神经元受到大脑神经元结构启发，有时也称作人工神经元或者感知器。浅层神经网络(Shallow Neural Network)只包括输入层和输出层，输入层负责接收输入信号，输出层负责输出神经网络的计算结果。输入信号经过线性组合后，被施加激活函数(ActivationFunction)进行变换得到输出层的结果。深度学习中用到的复杂模型主要是多层神经网络，有时也称作深度神经网络(Deep Neural Network，DNN)。多层神经网络除了输入层和输出层还包括隐藏层，每个隐藏层包括任意数量的神经元，这些神经元在网络结构中作为节点与前一层的节点连接，每个神经元可以看做线性组合器并给每个连接的输入值分配权重进行加权线性组合。激活函数是对输入信号进行加权线性组合之后的非线性映射，在多层神经网络中可以理解为上一层神经元的输出与下一层神经元的输入之间的函数关系。每个隐藏层可以有不同的激活函数。常见的激活函数有ReLU、Sigmoid、Tanh等。神经网络通过网状结构将每一层的信息传递给下一层。正向传播是从输入层到输出层逐层计算的过程，在正向传播过程中反复进行加权线性组合和通过激活函数进行变换，最后计算损失函数(LossFunction)用于衡量模型预测值和真实值之间的偏离程度。反向传播是从输出层向隐藏层反向传播直至输入层，在反向传播过程中根据实际输出和期望输出之间的误差进行神经网络参数的修正。DNN按照基本层的组成可以分为卷积神经网络(Convolutional NeuralNetwork，CNN)、全连接神经网络(Fully Connected Neural Network，FCN)和循环神经网络(Recurrent Neural Network，RNN)。CNN由卷积层、池化层和全连接层组成。FCN由多个全连接层组成。RNN由全连接层组成但层与层之间具有反馈路径和门控操作，也叫递归层。不同类型的神经网络基本层具有不同的计算特点，其中卷积层的计算占比很高且各卷积层的计算量很大，需要处理的输入数据往往为三维张量或者更高维张量。另外各卷积层的计算参数如卷积核大小和输入输出特征图尺寸等也变化多样。