[发明专利]基于神经网络处理器及其使用方法

说明书

本发明公开了基于神经网络处理器及其使用方法，涉及处理器技术领域。本发明包括：存储单元；控制单元；计算单元；存储单元具体包括卷积子存储单元、归一化子存储单元、池化子存储单元、线性子存储单元以及全连接子存储单元；计算单元包括若干子计算单元；所述计算单元具体包括卷积子计算单元、归一化子计算单元、池化子计算单元、线性子计算单元以及全连接子计算单元。本发明通过将计算单元按不同照神经网络层的计算划分成若干子计算单元，并将存储单元对应子计算单元需要的节点值划分成对应的存储子单元；当进行大数量级的神经网络计算时，不同子计算模块专用于对应神经网络层的计算，实现了神经网络计算的高效计算，提高了计算效率。

技术领域

本发明属于处理器技术领域，特别是涉及一种基于神经网络处理器及其使用方法。

背景技术

人工智能技术在近些年来得到了迅猛的发展，深度学习技术是人工智能技术发展的助推器，深度神经网络包括卷积神经网络、深度置信网络、循环神经网络等。以图像识别应用为例，经过反复训练、迭代，深度学习算法通过深度神经网络可以自动地获得隐藏的图像的特征数据，并且产生优于传统的基于模式识别分析方法的效果。

然而，实现深度学习技术依赖于极大的计算量。在训练阶段，需要在海量数据中通过反复迭代计算得到神经网络中的权重数据；在推理阶段，同样需要神经网络在极短的响应时间(通常为毫秒级)内完成对输入数据的运算处理，这需要所部署的神经网络运算电路(包括CPU、GPU、FPGA和ASIC等)达到每秒千亿次甚至万亿次的计算能力。随着神经网络运算电路的规模越来越大、数据吞吐量越来越高，计算效率成为一个严重问题。

以卷积神经网络为例，参见图2所示，其处理数据的过程由卷积层、池化层、归一化层、非线性层和全连接层等多层结构组成。与传统神经网络相比，卷积神经网络在结构上增加了卷积层和池化层，每层内又包含多个特征图。卷积层和池化层之间均采用部分连接的方式，体现出了局部感知的思想。在网络末端，通常采用全连接层，即当前层内神经元与下一层神经元一一相连。

卷积层完成卷积操作，具体操作过程是：将一个K*K大小的二维权重卷积核对特征图进行扫描，在扫描过程中权重与特征图内对应的特征元素求内积，并将所有内积值求和，得到一个输出层特征元素。当每个卷积层具有N个特征图层时，会有N个K*K大小的卷积核与该卷积层内特征图进行卷积操作，N个内积值求和得到一个输出层特征元素。

池化层又称为下采样层，具体操作过程是：将一个P*P大小的二维窗口对特征图层进行扫描，在扫描过程中计算窗口在图层对应数据中的最大值或平均值，得到输出层特征元素点。池化层一方面可以消除部分噪声信息，有利于特征提取，另外一方面也可以减少下一层特征元素的数量，减小网络规模。

归一化层对局部输入区域进行归一化，常用的归一化方法为局部相应归一化，即在多个相邻特征图中相同位置的元素经过标准化归一操作后得到输出特征图中的特征元素。归一化层通常在卷积层后，归一化层的使用可以加快神经网络收敛速度。

非线性层用于完成非线性计算，神经网络中常用的非线性函数包括sigmoid函数、tanh函数和ReLU函数等，特征图内每个特征像素均需要经过非线性处理后输出到下一层特征图。

全连接层在卷积神经网络模型的末端，当前层神经元与下一层神经网络中所有神经元均连接，即n-1层的任意一个节点，都和第n层所有节点有连接，数学上的计算方式为当前层特征元素与对应的权重元素进行内积运算。全连接是一种不错的模式，但是网络很大的时候，训练速度会很慢。

由上述神经网络中的数据处理过程可知，神经网络的训练过程中包括大量卷积和内积计算，即乘法和加法运算，为了提高神经网络的训练速度，降低能耗，可采用硬件的方式来实现神经网络中的大部分功能。

本发明提供一种基于神经网络处理器及其使用方法，专用于神经网络计算处理，解决大数量级计算效率低的问题。

发明内容