[发明专利]一种前馈序列记忆神经网络及其构建方法和系统

说明书

本发明公开了一种前馈序列记忆神经网络及其构建方法和系统，该前馈序列记忆神经网络包括：至少三层的多个节点，第一层为输入层，最后一层为输出层，其它位于输入层和输出层之间的多个节点组成至少一个隐层，每一个隐层都包含一个记忆块，隐层与记忆块共同构成双向前馈序列记忆神经网络FSMN层，该记忆块用于存储每帧输入信息的历史信息和未来信息。由于该双向FSMN层包括记忆块，通过该记忆块存储每帧输入信息的历史信息和未来信息，可以利用训练数据的长时信息，并且该过程无需通过双向循环反馈，可以保证信息处理效率。

技术领域

本发明涉及人工智能领域，具体涉及一种前馈序列记忆神经网络及其构建方法和系统。

背景技术

人工神经网络是从微观结构与功能上对人脑神经系统的模拟而建立起来的一类模型，具有模拟人的部分形象思维的能力，其特点主要是具有非线性特征、学习能力和自适应性，是实现人工智能的重要途径，它是由简单信息处理单元互联组成的网络，能接受并处理信息，网络的信息处理由单元之间的相互作用来实现，具体处理信息时，通过将问题表达为处理单元之间的连接权重来处理。近年来，神经网络在人机交互的应用系统中起到了至关重要的作用，如基于深度神经网络的语音识别系统，基于深度神经网络的语音合成系统等，现有的神经网络如前馈神经网络在进行信息处理时，实现的是固定的输入到固定输出的映射关系，每个时刻的样本是独立计算的，不能有效利用训练数据的长时信息；现有的神经网络在处理具有时序依赖性的数据时，经常得不到很好的效果，所述具有时序依赖性的数据指数据与之数据之间存在前后依赖的关系，如语音识别时，为了提升识别的准确率，经常需要考虑语音数据的上下文信息。因此，为了使神经网络有效利用训练数据的长时信息，研究人员提出了具有记忆功能的递归神经网络，这种神经网络采用双向循环反馈的结构来实现记忆功能，使得该递归神经网络可以利用训练数据的长时信息。但是，该递归神经网络结构较复杂，训练网络参数时，经常存在不稳定性；并且，具有双向循环反馈的网络结构在对训练数据实现记忆功能时，需要等数据输入结束后，根据反馈信息来实现记忆，在信息处理效率较高的应用系统中无法使用，尤其是实时信息处理系统，经常需要用户等待较长的时间，降低了用户体验效果。

发明内容

本发明实施例提供一种前馈序列记忆神经网络及其构建方法和系统，解决在有效利用训练数据的长时信息的前提下，现有神经网络无法保证信息处理效率的问题，以提高用户体验效果。

为此，本发明实施例提供如下技术方案：

一种前馈序列记忆神经网络包括至少三层的多个节点，第一层为输入层，最后一层为输出层，其它位于输入层和输出层之间的多个节点组成至少一个隐层，层与层之间的节点是全连接的，每一个隐层都包含一个记忆块，隐层与记忆块共同构成双向前馈序列记忆神经网络FSMN层，其中，当前隐层的记忆块的输入为当前隐层的输出，当前隐层的记忆块的输出为下一层的一个输入，所述记忆块用于存储当前帧输入数据的历史信息和未来信息，所述历史信息为当前帧输入数据之前帧的特征序列，所述未来信息为当前帧输入数据之后帧的特征序列。

优选地，所述前馈序列记忆神经网络还包括：

各双向FSMN层都相应存在一个长短时记忆LSTM层，同一层的双向FSMN层和LSTM层共同构成双向长短时前馈序列记忆神经网络LSFSMN层，其中，当前LSTM层的输入为输入层的输出或上一LSTM层、上一隐层以及上一隐层的记忆块的输出，当前LSTM层的输出为下一隐层和下一LSTM层的一个输入，其中，所述LSTM层用于记忆历史信息，所述双向FSMN层用于记忆未来信息。

优选地，所述前馈序列记忆神经网络还包括：位于双向FSMN叠层和所述输出层之间的全连接叠层，其中，所述全连接叠层的输入端和所述双向FSMN叠层的输出端相连接，所述全连接叠层的输出端和所述输出层的输入端相连接，所述全连接叠层包括至少一个全连接层，所述双向FSMN叠层包括至少一个双向FSMN层；或者