[发明专利]基于选择性注意原理的深度长短期记忆循环神经网络声学模型的构建方法

摘要

一种基于选择性注意原理的深度长短期记忆循环神经网络声学模型的构建方法，通过在深度长短期记忆循环神经网络声学模型中增加注意门单元，来表征听觉皮层神经元的瞬时功能改变，注意门单元与其他门单元不同之处在于，其他门单元与时间序列一一对应，而注意门单元体现的是短期可塑性效应，因此在时间序列上存在间隔；通过对包含Cross‑talk噪声的大量语音数据进行训练获得的上述神经网络声学模型，可以实现对Cross‑talk噪声的鲁棒特征提取和鲁棒声学模型的构建，通过抑制非目标流对特征提取的影响可以达到提高声学模型的鲁棒性的目的；该方法可广泛应用于涉及语音识别的说话人识别、关键词识别、人机交互等多种机器学习领域。

主权项

一种基于选择性注意原理的深度长短期记忆循环神经网络声学模型的构建方法，包括如下步骤：第一步，构建基于选择性注意原理的深度长短期记忆循环神经网络从输入到隐藏层定义为一个长短期记忆循环神经网络，深度指的是每个长短期记忆循环神经网络的输出为下一个长短期记忆循环神经网络的输入，如此重复，最后一个长短期记忆循环神经网络的输出作为整个系统的输出；在每一个长短期记忆循环神经网络中，语音信号xt为t时刻的输入，xt‑1为t‑1时刻的输入，以此类推，总时间长度上的输入为x＝[x1,...,xT]其中t∈[1,T]，T为语音信号的总时间长度；t时刻的长短期记忆循环神经网络由注意门、输入门、输出门、遗忘门、记忆细胞、tanh函数、隐藏层、乘法器组成，t‑1时刻的长短期记忆循环神经网络由输入门、输出门、遗忘门、记忆细胞、tanh函数、隐藏层、乘法器组成；总时间长度上的隐藏层输出为y＝[y1,...,yT]；在t∈[1,T]时刻的参数按照如下公式计算：Gatten_t＝sigmoid(Waxxt+Wammt‑1+WacCellt‑1+ba)Ginput_t＝sigmoid(WiaGatten_t+Wimmt‑1+WicCellt‑1+bi)Gforget_t＝sigmoid(WfaGatten_t+Wfmmt‑1+WfcCellt‑1+bf)Cellt＝Gforget_t⊙Cellt‑1+Ginput_t⊙tanh(WcaGatten_t+Wcmmt‑1+bc)Goutput_t＝sigmoid(WoaGatten_t+Wommt‑1+WocCellt‑1+bo)mt＝Goutput_t⊙tanh(Cellt)yt＝softmaxk(Wymmt+by)其中Gatten_t为t时刻注意门的输出，Ginput_t为t时刻输入门的输出，Gforget_t为t时刻遗忘门的输出，Cellt为t时刻记忆细胞的输出，Goutput_t为t时刻输出门的输出，mt为t时刻隐藏层的输入，yt为t时刻的输出；xt为t时刻的输入，mt‑1为t‑1时刻隐藏层的输入，Cellt‑1为t‑1时刻记忆细胞的输出；Wax为t时刻注意门a与t时刻输入x之间的权重，Wam为t时刻注意门a与t‑1时刻隐藏层输入m之间的权重，Wac为t时刻注意门a与t‑1时刻记忆细胞c之间的权重，Wia为t时刻输入门i与t时刻注意门a之间的权重，Wim为t时刻输入门i与t‑1时刻隐藏层输入m之间的权重，Wic为t时刻输入门i与t‑1时刻记忆细胞c之间的权重，Wfa为t时刻遗忘门f与t时刻注意门a之间的权重，Wfm为t时刻遗忘门f与t‑1时刻隐藏层输入m之间的权重，Wfc为t时刻遗忘门f与t‑1时刻记忆细胞c之间的权重，Wca为t时刻记忆细胞c与t时刻注意门a之间的权重，Wcm为t时刻记忆细胞c与t‑1时刻隐藏层输入m之间的权重，Woa为t时刻输出门o与t时刻注意门a之间的权重，Wom为t时刻输出门o与t‑1时刻隐藏层输入m之间的权重，Woc为t时刻输出门o与t‑1时刻记忆细胞c之间的权重；ba为注意门a的偏差量，bi为输入门i的偏差量，bf为遗忘门f的偏差量，bc为记忆细胞c的偏差量，bo为输出门o的偏差量，by为输出y的偏差量，不同的b代表不同的偏差量；且有其中xk表示第k∈[1,K]个softmax函数的输入，l∈[1,K]，表示对全部求和；⊙代表矩阵元素相乘；第二步，构建基于选择性注意原理的深度长短期记忆循环神经网络声学模型在第一步的基础上，每间隔s时刻对应的深度长短期记忆循环神经网络存在注意门，其他时刻的深度长短期记忆循环神经网络不存在注意门，即，基于选择性注意原理的深度长短期记忆循环神经网络声学模型由间隔存在注意门的深度长短期记忆循环神经网络组成。