[发明专利]一种前馈序列记忆神经网络及其构建方法和系统

权利要求书

1.一种用于语音处理的前馈序列记忆神经网络的构建方法，其特征在于，包括：

收集大量训练数据，并提取所述训练数据的特征序列；其中所述训练数据为语音数据，所述特征序列包括如下任一种语音特征序列：感知线性预测系数、FilterBank特征、梅尔频率倒谱系数或线性预测系数；

构建前馈序列记忆神经网络；所述前馈序列记忆神经网络包括至少三层的多个节点，第一层为输入层，最后一层为输出层，其它位于输入层和输出层之间的多个节点组成至少一个隐层，层与层之间的节点是全连接的，其中，每一个隐层都包含一个记忆块，隐层与记忆块共同构成双向前馈序列记忆神经网络FSMN层，其中，当前隐层的记忆块的输入为当前隐层的输出，当前隐层的记忆块的输出为下一层的一个输入，所述记忆块用于存储体现每帧语音数据的长时信息的历史信息和未来信息，所述历史信息为当前帧语音数据之前预设帧数的语音特征序列，所述未来信息为当前帧语音数据之后预设帧数的语音特征序列；所述输出层输出为每帧语音数据所属的数据单元，所述数据单元包括如下任一种：隐马尔可夫模型的状态、音素单元或音节单元；

利用所述训练数据的特征序列对构建的前馈序列记忆神经网络进行训练，得到前馈序列记忆神经网络的参数取值。

2.根据权利要求1所述的构建方法，其特征在于，所述构建前馈序列记忆神经网络包括：

确定前馈序列记忆神经网络的结构；

根据确定的前馈序列记忆神经网络结构确定所述特征序列的变换方法及相应前馈序列记忆神经网络的参数。

3.根据权利要求2所述的构建方法，其特征在于，所述前馈序列记忆神经网络的参数包括以下一种或多种：历史信息权重、未来信息权重、当前隐层与下个隐层的连接权重矩阵及权重偏置、当前隐层的记忆块与下个隐层的连接权重矩阵及权重偏置、当前LSTM层与下个隐层的连接权重矩阵与权重偏置、当前LSTM层与下个LSTM层的转换矩阵及权重偏置、当前隐层与下个LSTM层的连接权重矩阵与权重偏置、当前隐层的记忆块与下个LSTM层的连接权重矩阵与权重偏置、当前LSTM层与当前LSTM层的转换矩阵及权重偏置、当前全连接层与下个全连接层的连接权重矩阵及权重偏置、当前双向FSMN层与下个全连接层的连接权重矩阵及权重偏置、当前LSTM层与下个全连接层的连接权重矩阵与权重偏置、当前全连接层与输出层的连接权重矩阵及权重偏置。

4.根据权利要求3所述的构建方法，其特征在于，

对于包括双向FSMN叠层的前馈序列记忆神经网络，所述根据确定的前馈序列记忆神经网络结构确定所述特征序列的变换方法及相应前馈序列记忆神经网络的参数包括：

由输入层输入所述训练数据的特征序列，进入所述双向FSMN叠层；

各双向FSMN层的隐层对输入特征序列进行特征变换，并由记忆块保存每帧训练数据的历史信息和未来信息；

利用所述历史信息权重和所述未来信息权重对每帧训练数据的历史信息和未来信息进行融合，获取每帧训练数据的融合特征序列，作为当前隐层的记忆块的输出特征序列；

利用所述当前隐层与下个隐层的连接权重矩阵及权重偏置、所述当前隐层的记忆块与下个隐层的连接权重矩阵及权重偏置对所述当前隐层的输出特征序列和该隐层记忆块的输出特征序列进行变换，获取下一隐层的输出特征序列；

以最后一个隐层的输出和\或该隐层记忆块的输出作为输出层的输入，进行变换获取输出层的输出结果。