[发明专利]一种用于稀疏连接的人工神经网络计算装置和方法

说明书

技术领域

本发明涉及数据处理技术领域，更具体地涉及一种用于稀疏连接的人工神经网络计算装置和方法。

背景技术

人工神经网络(Artificial Neural Networks，ANNs)简称为神经网络(NNs)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间的相互连接关系，从而达到处理信启、的目的。神经网络用到的算法就是向量乘法，并且广泛采用符号函数及其各种逼近。

就像大脑里的神经网络一样，神经网络由一些互相连接的节点组成，如图1所示，每个圆圈表示一个神经元，每个箭头表示两个神经元之间的连接又被称为权值。

神经元的计算公式可以简单的描述成：其中，x表示所有和输出神经元数据相连接的输入神经元数据，w表示x和输出神经元数据之间对应的权值。f(x)是一个非线性函数，通常称作激活函数，常用的函数如：等。

神经网络被广泛应用于各种应用场景：计算视觉、语音识别和自然语言处理等。在近几年的时间里，神经网络的规模一直在增长。在1998年，Lecun用于手写字符识别的神经网络的规模小于1M个权值；在2012年，krizhevsky用于参加ImageNet竞赛的规模是60M个权值。

神经网络是一个高计算量和高访存的应用，权值越多，计算量和访存量都会增大。为了减小计算量和权值数量，从而降低访存量，出现了稀疏连接的神经网络，如图2所示即为一个稀疏的神经网络。

随着神经网络计算量和访存量的急剧增大，现有技术中通常采用通用处理器计算稀疏的人工神经网络。对于通用处理器，输入神经元数据、输出神经元数据和权值分别存储在三个数组中，同时还有一个索引数组，索引数组存储了每个输出神经元数据和输入神经元数据通过权值连接的连接关系。在计算时，主要的运算是神经元与权值相乘。每一次运算都要通过索引数组找到神经元对应的权值。由于通用处理器计算能力和访存能力都很弱，满足不了神经网络的需求。而多个通用处理器并行执行时，通用处理器之间相互通讯又成为了性能瓶颈。在计算剪枝之后的神经网络时，每次乘法运算都要去索引数组里重新查找权值对应的位置，增加了额外的计算量和访存开销。因此计算神经网络耗时长，功耗高。通用处理器需要把多层人工神经网络运算译码成一长列运算及访存指令序列，处理器前端译码带来了较大的功耗开销。

另一种支持稀疏连接的人工神经网络运算及其训练算法的已知方法是使用图形处理器(GPU)，该方法通过使用通用寄存器堆和通用流处理单元执行通用SIMD指令来支持上述算法。但由于GPU是专门用来执行图形图像运算以及科学计算的设备，没有对稀疏的人工神经网络运算的专门支持，仍然需要大量的前端译码工作才能执行稀疏的人工神经网络运算，带来了大量的额外开销。另外GPU只有较小的片上缓存，多层人工神经网络的模型数据(权值)需要反复从片外搬运，片外带宽成为了主要性能瓶颈，同时带来了巨大的功耗开销。

发明内容

有鉴于此，本发明的目的在于提供一种用于稀疏连接的人工神经网络计算装置和方法。

为了实现上述目的，作为本发明的一个方面，本发明提供了一种用于稀疏连接的人工神经网络计算装置，用于接收输入数据并根据输入数据产生输出数据，输入数据包括输入神经元数据和权值数据，输出数据包括输出神经元数据，所述用于稀疏连接的人工神经网络计算装置包括：

映射单元，用于接收连接关系及权值数据和/或输入神经元数据，并根据连接关系将输入数据中每个权值数据一一对应到相应的输入神经元数据，并将所述权值数据和/或所述相应的输入神经元数据存储在存储装置和/或缓存中；

存储装置，用于存储数据和指令；

运算单元，用于根据所述存储装置中存储的指令对所述数据执行相应的运算；所述运算单元主要执行三步运算，第一步是将所述输入神经元数据和权值数据相乘；第二步执行加法树运算，用于将第一步处理后的加权输出神经元数据通过加法树逐级相加，或者将加权输出神经元数据通过和偏置相加得到加偏置输出神经元数据；第三步执行激活函数运算，得到最终输出神经元数据。

其中，所述映射单元中的一一对应关系包括：

第一种情形：

采用1表示有连接，0表示无连接，每个输出神经元数据与所有输入神经元数据的连接状态组成一个0和1的字符串来表示该输出神经元数据的连接关系；或者

采用1表示有连接，0表示无连接，每个输入神经元数据与所有输出神经元数据的连接状态组成一个0和1的字符串来表示该输入神经元数据的连接关系；

第二种情形：