[发明专利]用于稀疏人工神经网络的计算装置和运算方法

说明书

一种计算装置和方法，所述计算装置包括运算单元，用于接收指令对所述权值和所述相应的输入神经元执行用于稀疏连接的人工神经网络运算，得到输出神经元。本公开的装置解决了CPU和GPU运算性能不足，前端译码开销大的问题，有效提高了对人工神经网络运算算法的支持，避免了内存带宽成为人工神经网络运算及其训练算法性能瓶颈的问题。

本公开是申请日为2016年1月20日、申请号为201610039162.5、发明名称为“一种用于稀疏连接的人工神经网络计算装置和方法”的发明专利申请的分案申请。

技术领域

本公开涉及数据处理技术领域，更具体地涉及一种用于稀疏人工神经网络的计算装置和运算方法。

背景技术

人工神经网络(Artificial Neural Networks，ANNs)简称为神经网络(NNs)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间的相互连接关系，从而达到处理信息的目的。神经网络用到的算法就是向量乘法，并且广泛采用符号函数及其各种逼近。

就像大脑里的神经网络一样，神经网络由一些互相连接的节点组成，如图1所示，每个圆圈表示一个神经元，每个箭头表示两个神经元之间的连接又被称为权值。

神经元的计算公式可以简单的描述成：其中，x表示所有和输出神经元相连接的输入神经元，w表示x和输出神经元之间对应的权值。f(x)是一个非线性函数，通常称作激活函数，常用的函数如：等。

神经网络被广泛应用于各种应用场景：计算视觉、语音识别和自然语言处理等。在近几年的时间里，神经网络的规模一直在增长。在1998年，Lecun用于手写字符识别的神经网络的规模小于1M个权值；在2012年，krizhevsky用于参加ImageNet竞赛的规模是60M个权值。

神经网络是一个高计算量和高访存的应用，权值越多，计算量和访存量都会增大。为了减小计算量和权值数量，从而降低访存量，出现了稀疏连接的神经网络，如图2所示即为一个稀疏的神经网络。

随着神经网络计算量和访存量的急剧增大，现有技术中通常采用通用处理器计算稀疏的人工神经网络。对于通用处理器，输入神经元、输出神经元和权值分别存储在三个数组中，同时还有一个索引数组，索引数组存储了每个输出神经元和输入神经元通过权值连接的连接关系。在计算时，主要的运算是神经元与权值相乘。每一次运算都要通过索引数组找到神经元对应的权值。由于通用处理器计算能力和访存能力都很弱，满足不了神经网络的需求。而多个通用处理器并行执行时，通用处理器之间相互通讯又成为了性能瓶颈。在计算剪枝之后的神经网络时，每次乘法运算都要去索引数组里重新查找权值对应的位置，增加了额外的计算量和访存开销。因此计算神经网络耗时长，功耗高。通用处理器需要把多层人工神经网络运算译码成一长列运算及访存指令序列，处理器前端译码带来了较大的功耗开销。

另一种支持稀疏连接的人工神经网络运算及其训练算法的已知方法是使用图形处理器(GPU)，该方法通过使用通用寄存器堆和通用流处理单元执行通用SIMD指令来支持上述算法。但由于GPU是专门用来执行图形图像运算以及科学计算的设备，没有对稀疏的人工神经网络运算的专门支持，仍然需要大量的前端译码工作才能执行稀疏的人工神经网络运算，带来了大量的额外开销。另外GPU只有较小的片上缓存，多层人工神经网络的模型数据(权值)需要反复从片外搬运，片外带宽成为了主要性能瓶颈，同时带来了巨大的功耗开销。

发明内容

有鉴于此，本公开的目的在于提供一种用于稀疏人工神经网络的计算装置和运算方法。

为了实现上述目的，作为本公开的一个方面，本公开提供了一种用于稀疏人工神经网络的计算装置，包括：

存储装置，用于存储输入数据、一个或多个权值数据、连接关系数据和指令；所述连接关系数据表示每个输入神经元数据和每个输出神经元数据是否有对应的连接关系的权值数据；