[发明专利]用于LSTM网络的硬件加速器

说明书

本发明公开了一种用于长短期记忆(LSTM)网络的硬件加速器。LSTM计算模块对T个有序输入进行前向LSTM计算，得到分别对应于所述T个有序输入的T个第一输出，并对所述T个有序输入进行后向LSTM计算，得到分别对应于所述T个有序输入的T个第二输出，其中，T为正整数。第一缓存用于缓存所述第一输出和所述第二输出。组合模块对所述第一缓存中缓存的对应于同一个输入的第一输出和第二输出执行组合运算，以得到对应于所述同一个输入的组合输出。由此，可以提高双向LSTM计算性能，降低响应延时，实现对双向LSTM网络计算的加速效果。

技术领域

本公开涉及双向长短期记忆(LSTM)架构，特别涉及双向LSTM的硬件实现装置及其控制方法。

背景技术

LSTM架构经常用于大规模声学建模以及声学输出概率计算。其中，LSTM往往是计算和内存密集度最高的部分。因此，需要加速LSTM计算。

LSTM是循环神经网络(RNN)的一种，其中时间点t的输入依赖于时间点t-1的输出。

图1示意性地示出了使用LSTM网络的一种网络结构。

输入数据经多次LSTM网络运算后进入全连接层FC，再经回归模型softmax回归，向外输出。

图1右侧示意性地示出了LSTM网络的内部结构。

与传统RNN相比，LSTM在循环隐藏层中包含特殊的记忆块(memoryblock)。记忆块中的自连接的记忆单元(cell)可以存储网络的时间状态(temporal state)。记忆块还包含称为门的特殊乘法单元：输入门i、输出门o和遗忘门f。输入门i控制输入数据流入记忆单元。输出门o控制输出数据流到网络的其余部分。遗忘门f在将记忆单元的内部状态作为输入加到记忆单元之前缩放记忆单元的内部状态，这样可以自适应地忘记记忆单元中的记忆。

另外，如图1虚线所示，现代LSTM体系结构包含从其内部单元到门的窥视孔连接，以学习输出的精确时序。其中，输入经过多种运算后，通过递归、投射，然后输出。

LSTM网络接收输入序列x＝(x₁；...；xT)，T为正整数，例如可以是512。例如，可以将预定时长的一段输入语音均分为T段，基于每一段语音分别得到相应的输入向量x_t，其中t为1至T的正整数。

LSTM网络通过使用以下公式从t＝1到T迭代计算输出序列y＝(y₁；...；y_T)：

i_t＝σ(W_ixx_t+W_iry_t-1+b_i) (1)

f_t＝σ(W_fxx_t+W_rfy_t-1+b_f) (2)

c_t＝f_t⊙c_t-1+i_t⊙g(W_cxx_t+W_cry_t-1+b_c) (3)

o_t＝σ(W_oxx_t+W_ory_t-1+b_o) (4)

y_t＝o_t⊙h(c_t) (5)