[发明专利]推论装置和推论方法

说明书

技术领域

本发明涉及使用神经网络的推论装置和推论方法。

背景技术

作为机器学习方法之一，神经网络具有较高的问题解决能力，被用于图像识别、语音识别、异常检测、未来预测等多种处理。

作为神经网络的构造之一存在阶层型神经网络，作为学习方法主要存在有训练学习和无训练学习这两种。

有训练学习是指如下方法：给出多个学习例的输入数据和目标输出，调整神经网络的连接状态以使实际的输出与目标输出一致。此外，无训练学习是指如下方法：不给出目标输出，调整神经网络的连接状态以能够提取学习例具有的本质特征。

例如，在属于有训练学习法的误差反向传播法(反向传播算法)中有时会发生如下问题：当神经网络的层数变多时，学习结果不收敛。

为了解决上述问题，例如，使用自编码器(Autoencoder)或受限玻尔兹曼机(Restrict Boltzmann Machine)等无训练学习来实施每层的预先学习(Pre-training)，由此确定神经网络的连接状态的初始值，然后使用误差反向传播法来调整(Fine-tuning)神经网络的连接状态。

由此，不会导致学习结果不收敛这一问题的产生，能够调整神经网络的连接状态以使实际的输出与目标输出一致。

阶层型神经网络能够通过由多个节点(node)和连接节点间的边缘(分支)构成的图形结构来表达，例如，在4层的神经网络中，多个节点通过输入层、第1中间层、第2中间层、输出层而被阶层化，不存在属于同一阶层的节点间的边缘，仅在相邻的层间存在边缘。有时将中间层称作隐藏层。

在各边缘中存在表示被连接的2个节点间的连接程度的参数，将该参数称作边缘权重。

在使用阶层型神经网络来进行学习或者推论时，其计算量和存储量与边缘数成比例。在通常情况下，属于各层的节点通过边缘而与属于相邻的层的全部节点连接，因此，计算量和存储量与节点数直接相关。

例如，在输入层的节点数为N，第1中间层的节点数为M₁，第2中间层的节点数为M₂，输出层的节点数为1的情况下，输入层与第1中间层之间的边缘数为N×M₁、第1中间层与第2中间层之间的边缘数为M₁×M₂、第2中间层与输出层之间的边缘数为M₂，因此，进行学习或者推论时的计算量和存储量与(N×M₁+M₁×M₂+M₂)成比例。

特别是在中间层的节点数与输入层的节点数成比例的情况下，相对于节点数为N个的输入层，第1中间层的节点数为M₁＝a×N个，第2中间层的节点数为M₂＝b×N个。在该情况下，神经网络中的边缘的总数为N×a×N+a×N×b×N+b×N＝(a+a×b)×N²+b×N，进行学习或者推论时的计算量和存储量与(a+a×b)×N²+b×N成比例。

阶层型神经网络往往具有以上构造，计算量和存储量与输入数据数N的2次方即输入层的节点数N的2次方成比例地增加，因此，随着输入数据数的增大，计算量和存储量飞跃式增加，产生计算机资源不足、处理延迟、装置成本增大等问题。

在以下的专利文献1中，通过根据多个输入数据的相关关系对多个输入数据进行编组来削减输入层与中间层之间的边缘数和中间层与输出层之间的边缘数。

在先技术文献

专利文献

专利文献1：日本特开2011-54200号公报(图1)

发明内容

发明要解决的课题

现有的推论装置是以如上方式构成的，因此，能够削减输入层与中间层之间的边缘数和中间层与输出层之间的边缘数。但是，在属于同一组的输入层与中间层之间，输入层的各节点与中间层的全部节点连接，因此，边缘的削減数是有限的，依然存在进行推论时的计算量和存储量变大这一课题。

本发明正是为了解决上述课题而完成的，其目的在于，得到能够削减进行推论时的计算量和存储量的推论装置和推论方法。此外，其目的还在于，得到推论精度较高的推论装置和推论方法。

用于解决课题的手段