[发明专利]一种基于FPGA实现稀疏化GRU神经网络的硬件加速器及方法

说明书

本发明提出一种用于实现稀疏化GRU神经网络的装置，包括：输入接收单元，用于接收多个输入向量，并将多个输入向量分配到多个计算单元；多个计算单元，从所述输入接受单元获取输入向量，读取神经网络权值矩阵数据，将其解码后与输入向量进行矩阵运算，并将矩阵运算结果输出至隐含层状态计算模块；隐含层状态计算模块，从所述计算单元PE获取矩阵运算结果，计算出隐含层状态；控制单元，用于进行全局控制。另一方面，本发明提出一种通过迭代实现稀疏GRU神经网络的方法。

本申请要求于2016年8月22日提交的美国专利申请No.15/242,622、于2016年8月22日提交的美国专利申请No.15/242,624、于2016年8月22日提交的美国专利申请15/242,625的优先权。其全部内容在此参考并入。

发明领域

本发明涉人工智能领域，特别地，本发明涉及一种基于FPGA实现稀疏化GRU神经网络的硬件加速器及方法。

背景技术

RNN简介

循环神经网络(RNN)是一类人工神经网络，其中单元之间的连接形成有向循环。这创建了网络的内部状态，其允许其展现动态的时间行为。RNN可以通过具有循环隐藏状态来处理可变长度序列，其中每个时刻的激活依赖于先前时刻的激活。

传统地，标准RNN以如下方式计算下一步骤的隐藏层：

h_t＝f(W^(hh)h_t-1+W^(hx)x_t)

其中f是平滑的有界函数，例如逻辑S形函数(logistic sigmoid function)或双曲正切函数。W^(hh)是状态到状态的循环权重矩阵，W^(hx)是输入到隐藏权重矩阵。

输入序列是x＝(x₁,...,x_T)。我们可以将任意长度的序列的概率分解为：

p(x₁，...，x_T)＝p(x₁)p(x₂|x₁)p(x₃|x₁，x₂)…p(x_T|x₁，...，x_T-1)

然后，如图1所示，我们可以训练RNN来对该概率分布建立模型，给定隐藏状态h_t，使其预测下一个符号x_t+1的概率。其中h_t是所有先前符号x₁，x₂，...x_t的函数：

p(x_t+1|x₁，…，x_t)＝f(h_t)

隐藏层激活通过从t＝1到T和从n＝2到N重复以下等式来计算：

其中W项表示权重矩阵(例如W_ihⁿ是将输入连接到第n个隐藏层的权重矩阵，W_h¹_h¹是第一隐藏层的循环连接，等等)，b项表示偏置向量(例如b_y是输出偏置向量)，H是隐藏层函数。

给定隐藏序列，输出序列的计算如下：

其中Y是输出层函数。因此，完整网络定义了这样一个函数，由权重矩阵作为参数，从输入历史序列x(1：t)到输出向量y_t。