[发明专利]循环神经网络的学习方法及用于该学习方法的计算机程序、和声音识别装置

说明书

提供使基于时间序列的数据的循环神经网络(RNN)的学习高效化的学习方法。学习方法包含：步骤(220)，将RNN初始化；和学习步骤(226)，将某矢量指定为开始位置，将各参数最佳化，以使得误差函数最小化，由此进行RNN的学习。学习步骤(226)包含：更新步骤(250)，使用以被指定的矢量为开头的连续的N个(N≥3)矢量，通过将末尾的矢量的参考值设为正解标签的Truncated BPTT来更新RNN的参数；和第1重复步骤240，直到结束条件成立为止，都重复以下处理，即，新指定相对于更新步骤中使用的N个矢量的末尾的矢量处于满足给定的关系的位置的矢量来执行学习步骤的处理。处于满足给定的关系的位置的矢量是从被指定的矢量起至少2个以上后的矢量。

技术领域

本发明涉及循环神经网络(RNN)的学习方法，特别涉及能提高学习的效率且能提高学习后的RNN的精度的RNN的学习方法以及用于该学习方法的计算机程序。

背景技术

近年来，提出有使用RNN作为用于声音识别的声学模型的技术。所谓RNN，是在神经网络中嵌入时间序列的信息而成的构成。

图1示意性示出通常的神经网络的原理。神经网络30包含：接受输入矢量46的输入层40；为了接受输入层40的输出而与输入层40结合的隐含层42；和为了接受隐含层42的输出而被结合且输出输出矢量48的输出层44。在图1中，为了使图简明而示出了隐含层为1层的情况，但隐含层的数目并不限定于1。

在这样的神经网络中，数据从输入层40向隐含层42并从隐含层42向输出层44这样地在一个方向上流动。因此，将该类型的神经网络称作前馈神经网络(FFNN)。对从某节点向另外节点的结合赋予权重，有时还进一步赋予偏置，这些权重以及偏置的值通过学习来确定。在学习时，将学习数据作为输入矢量46提供给隐含层42，从输出层44得到输出矢量48。将该输出矢量48与正解数据的误差从输出层44侧提供给隐含层42、输入层40的各节点，将各权重以及偏置的值最佳化，以使得作为神经网络30的误差成为最小。

另一方面，RNN不是如FFNN那样向一个方向去的节点的结合，还包括反向的节点的结合、同一层内的节点间的结合、同一节点的自环等。图2示意性示出RNN的隐含层的1例的与各节点的结合相关的构成。在图2中，该隐含层70作为示例而包含3个节点。这3个节点各自除了具有用于从更下层(靠近输入层的层)接受数据的结合以及用于向更上层(靠近输出层的层)交付数据的结合以外，还具有用于向下层的节点交付数据的结合、与相同隐含层70内的节点之间的结合、以及自环。对这些结合各自分配权重作为参数。这些参数的数目也有时达到数百万到数千万。在作为用于声音识别的声学模型使用的情况下，需要从声音语料库(声音数据与文本的对)自动学习它们。

作为RNN的学习方法，有Back-propagation through time法(沿时间反向传播法，以下称为“BPTT”)及其变形Truncated back-propagation through time法(以下称为“Truncated BPTT(截断式BPTT)”)。

现有技术文献

非专利文献

非专利文献1：H.Jaeger(2002)：Tutorial on training recurrent neuralnetworks，covering BPPT，RTRL，EKF and the″echo state network″approach.GMDReport 159，German National Research Center for Information Technology，2002(48pp.)

非专利文献2：Mikael Boden.A Guide to Recurrent Neural Networks andBackpropagation.In the Dallas project，2002.