[发明专利]神经网络的训练方法

摘要

本发明提供一种人工神经网络(NN)的训练方法(30)。该方法(30)包括以下步骤：通过选择待训练的NN的一个输出，并且为所选输出而将该NN的一个输出神经元连接到该NN输入层中的输入神经元，从而对NN进行初始化；准备该NN待学习的一个数据集；通过将所准备的数据集的一个输入向量应用到该NN的第一隐层，或者在该NN没有隐层时将其应用到该NN的输出层，并且确定该NN的每一层中所选输出的至少一个神经元是否可以学习产生该输入向量的相关输出，从而将所准备的数据集应用到该NN以进行学习。如果该NN的一层中没有一个神经元可以学习产生该输入向量的相关输出，那么将一新的神经元增加到那层中以学习那层中任何其他神经元无法学习的相关输出。这个新神经元将其输出连接到与受到训练的输出相关联的下一层中的所有神经元上。如果一输出神经元无法学习该输入向量，那么将另一神经元增加到同一层中作为当前输出神经元，将所有输入与其相连。该神经元学习旧输出无法学习的输入。将一附加神经元增加到下一层中。该神经元的输入是该NN的旧输出，而对那一层来说是新增加的神经元。

主权项

1.一种人工神经网络的训练方法，所述方法包括以下步骤：(i)通过选择待训练的神经网络的一个输出，并且为所选输出而将该神经网络的一个输出神经元连接到该神经网络输入层中的输入神经元，从而对该神经网络进行初始化；(ii)准备该神经网络待学习的数据集；并且(iii)通过将所准备的数据集的一个输入向量应用到该神经网络的第一隐层，或者在该神经网络没有隐层时将该输入向量应用到该神经网络的输出层，并且确定该神经网络的每一层中所选输出的至少一个神经元是否可以学习以产生该输入向量的相关输出，从而将所准备的数据集应用到该神经网络以进行学习，其中：如果该神经网络每一层中所选输出的至少一个神经元可以学习以产生该输入向量的相关输出，而且如果存在所准备数据集的更多输入向量可以学习，那么，对下一个输入向量重复步骤(iii)，另外，如果有更多待训练的输出，那么对该神经网络的下一个输出重复步骤(i)至(iii)；如果该神经网络的所选输出的隐层中没有神经元可以学习以产生输入向量的相关输出，那么将一新神经元增加到那一层中以学习所选输出的那一层中任何其他神经元无法学习的相关输出，而且，如果存在该数据集的更多输入向量可以学习，那么，对下一个输入向量重复步骤(iii)，另外，如果有更多待训练的输出，那么对该神经网络的下一个输出重复步骤(i)至(iii)；如果该神经网络的所选输出的输出神经元无法学习以产生输入向量的相关输出，那么该输出神经元变成该神经网络的隐层的一个神经元，将一新神经元增加到该隐层中以学习该输出神经元无法学习的相关输出，并且为所选输出而将一新输出神经元增加到该神经网络中，而且，如果存在该数据集的更多输入向量可以学习，那么，对下一个输入向量重复步骤(iii)，另外，如果有更多的待训练输出，那么对该神经网络的下一个输出重复步骤(i)至(iii)。