[发明专利]用于实现稀疏卷积神经网络加速器的装置和方法

说明书

技术领域

本发明涉及人工神经网络，更具体涉及用于实现稀疏卷积神经网络加速器的装置和方法。

背景技术

人工神经网络(Artificial Neural Networks，ANN)也简称为神经网络(NN)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。近年来神经网络发展很快，被广泛应用于很多领域，包括图像识别、语音识别，自然语言处理，天气预报，基因表达，内容推送等等。

图1图示说明了人工神经网络中的一个神经元的计算原理图。

神经元的积累的刺激是由其他神经元传递过来的刺激量和对应的权重之和，用Xj表示在第j个神经元的这种积累，Yi表示第i个神经元传递过来的刺激量，Wi表示链接第i个神经元刺激的权重，得到公式：

Xj＝(y1*W1)+(y2*W2)+...+(yi*Wi)+...+(yn*Wn)

而当Xj完成积累后，完成积累的第j个神经元本身对周围的一些神经元传播刺激，将其表示为yj得到如下所示：

yj＝f(Xj)

第j个神经元根据积累后Xj的结果进行处理后，对外传递刺激yj。用f函数映射来表示这种处理，将它称之为激活函数。

卷积神经网络(Convolutional Neural Networks，CNN)是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。

图2示出了卷积神经网络的处理结构示意图。

卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。卷积神经网络通常由卷积层(convolution layer)、下采样层(或称为池化层即pooling layer)以及全连接层(full connection layer，FC)组成。

卷积层通过线性卷积核与非线性激活函数产生输入数据的特征图，卷积核重复与输入数据的不同区域进行内积，之后通过非线性函数输出，非线性函数通常为rectifier、sigmoid、tanh等。以rectifier为例，卷积层的计算可以表示为：

其中，(i,j)为特征图中的像素索引，x_i,j表示输入域以(i,j)为中心，k表示特征图的通道索引。特征图计算过程中虽然卷积核与输入图像的不同区域进行内积，但卷积核不变。

池化层通常为平均池化或极大池化，该层只是计算或找出前一层特征图某一区域的平均值或最大值。

全连接层与传统神经网络相似，输入端的所有元素全都与输出的神经元连接，每个输出元素都是所有输入元素乘以各自权重后再求和得到。

在近几年里，神经网络的规模不断增长，公开的比较先进的神经网络都有数亿个链接，属于计算和访存密集型应用现有技术方案中通常是采用通用处理器(CPU)或者图形处理器(GPU)来实现，随着晶体管电路逐渐接近极限，摩尔定律也将会走到尽头。

在神经网络逐渐变大的情况下，模型压缩就变得极为重要。模型压缩可以将稠密神经网络变成稀疏神经网络，可以有效减少计算量、降低访存量。然而，CPU与GPU无法充分享受到稀疏化后带来的好处，取得的加速极其有限。而传统稀疏矩阵计算架构并不能够完全适应于神经网络的计算。已公开实验表明模型压缩率较低时现有处理器加速比有限。因此专有定制电路可以解决上述问题，可使得处理器在较低压缩率下获得更好的加速比。

就卷积神经网络而言，由于卷积层的卷积核能够共享参数，因此卷积层的参数量相对较少，而且卷积核往往较小(1*1、3*3、5*5等)，因此对卷积层的稀疏化效果不明显。池化层的计算量也较少。但全连接层仍然有数量庞大的参数，如果对全连接层进行稀疏化处理将会极大减少计算量。

因此，希望提出一种针对稀疏CNN加速器的实现装置和方法，以达到提高计算性能、降低响应延时的目的。

发明内容

基于以上的讨论，本发明提出了一种专用电路，支持FC层稀疏化CNN网络，采用ping-pang缓存并行化设计，有效平衡I/O带宽和计算效率。