[发明专利]基于选择性注意原理的深度长短期记忆循环神经网络声学模型的构建方法

权利要求书

1.一种基于选择性注意原理的深度长短期记忆循环神经网络声学模型的构建方法，包括如下步骤：

第一步，构建基于选择性注意原理的深度长短期记忆循环神经网络

从输入到隐藏层定义为一个长短期记忆循环神经网络，深度指的是每个长短期记忆循环神经网络的输出为下一个长短期记忆循环神经网络的输入，如此重复，最后一个长短期记忆循环神经网络的输出作为整个系统的输出；在每一个长短期记忆循环神经网络中，语音信号x_t为t时刻的输入，x_t-1为t-1时刻的输入，以此类推，总时间长度上的输入为x＝[x₁,...,x_T]其中t∈[1,T]，T为语音信号的总时间长度；t时刻的长短期记忆循环神经网络由注意门、输入门、输出门、遗忘门、记忆细胞、tanh函数、隐藏层、乘法器组成，t-1时刻的长短期记忆循环神经网络由输入门、输出门、遗忘门、记忆细胞、tanh函数、隐藏层、乘法器组成；总时间长度上的隐藏层输出为y＝[y₁,...,y_T]；

在t∈[1,T]时刻的参数按照如下公式计算：

G_{atten_t}＝sigmoid(W_axx_t+W_amm_t-1+W_acCell_t-1+b_a)

G_{input_t}＝sigmoid(W_iaG_{atten_t}+W_imm_t-1+W_icCell_t-1+b_i)

G_{forget_t}＝sigmoid(W_faG_{atten_t}+W_fmm_t-1+W_fcCell_t-1+b_f)

Cell_t＝G_{forget_t}⊙Cell_t-1+G_{input_t}⊙tanh(W_caG_{atten_t}+W_cmm_t-1+b_c)

G_{output_t}＝sigmoid(W_oaG_{atten_t}+W_omm_t-1+W_ocCell_t-1+b_o)

m_t＝G_{output_t}⊙tanh(Cell_t)

y_t＝softmax_k(W_ymm_t+b_y)

其中G_{atten_t}为t时刻注意门的输出，G_{input_t}为t时刻输入门的输出，G_{forget_t}为t时刻遗忘门的输出，Cell_t为t时刻记忆细胞的输出，G_{output_t}为t时刻输出门的输出，m_t为t时刻隐藏层的输入，y_t为t时刻的输出；x_t为t时刻的输入，m_t-1为t-1时刻隐藏层的输入，Cell_t-1为t-1时刻记忆细胞的输出；W_ax为t时刻注意门a与t时刻输入x之间的权重，W_am为t时刻注意门a与t-1时刻隐藏层输入m之间的权重，W_ac为t时刻注意门a与t-1时刻记忆细胞c之间的权重，W_ia为t时刻输入门i与t时刻注意门a之间的权重，W_im为t时刻输入门i与t-1时刻隐藏层输入m之间的权重，W_ic为t时刻输入门i与t-1时刻记忆细胞c之间的权重，W_fa为t时刻遗忘门f与t时刻注意门a之间的权重，W_fm为t时刻遗忘门f与t-1时刻隐藏层输入m之间的权重，W_fc为t时刻遗忘门f与t-1时刻记忆细胞c之间的权重，W_ca为t时刻记忆细胞c与t时刻注意门a之间的权重，W_cm为t时刻记忆细胞c与t-1时刻隐藏层输入m之间的权重，W_oa为t时刻输出门o与t时刻注意门a之间的权重，W_om为t时刻输出门o与t-1时刻隐藏层输入m之间的权重，W_oc为t时刻输出门o与t-1时刻记忆细胞c之间的权重；b_a为注意门a的偏差量，b_i为输入门i的偏差量，b_f为遗忘门f的偏差量，b_c为记忆细胞c的偏差量，b_o为输出门o的偏差量，b_y为输出y的偏差量，不同的b代表不同的偏差量；且有其中x_k表示第k∈[1,K]个softmax函数的输入，l∈[1,K]，表示对全部求和；⊙代表矩阵元素相乘；

第二步，构建基于选择性注意原理的深度长短期记忆循环神经网络声学模型

在第一步的基础上，每间隔s时刻对应的深度长短期记忆循环神经网络存在注意门，其他时刻的深度长短期记忆循环神经网络不存在注意门，即，基于选择性注意原理的深度长短期记忆循环神经网络声学模型由间隔存在注意门的深度长短期记忆循环神经网络组成。

2.根据权利要求1所述基于选择性注意原理的深度长短期记忆循环神经网络声学模型的构建方法，其特征在于，所述s＝5。