[发明专利]神经网络的训练方法

权利要求书

1.一种人工神经网络的训练方法，所述方法包括以下步骤：

(i)通过选择待训练的神经网络的一个输出，并且为所选输出而将该神经网络的一个输出神经元连接到该神经网络输入层中的输入神经元，从而对该神经网络进行初始化；

(ii)准备该神经网络待学习的数据集；并且

(iii)通过将所准备的数据集的一个输入向量应用到该神经网络的第一隐层，或者在该神经网络没有隐层时将该输入向量应用到该神经网络的输出层，并且确定该神经网络的每一层中所选输出的至少一个神经元是否可以学习以产生该输入向量的相关输出，从而将所准备的数据集应用到该神经网络以进行学习，其中：

如果该神经网络每一层中所选输出的至少一个神经元可以学习以产生该输入向量的相关输出，而且如果存在所准备数据集的更多输入向量可以学习，那么，对下一个输入向量重复步骤(iii)，另外，如果有更多待训练的输出，那么对该神经网络的下一个输出重复步骤(i)至(iii)；

如果该神经网络的所选输出的隐层中没有神经元可以学习以产生输入向量的相关输出，那么将一新神经元增加到那一层中以学习所选输出的那一层中任何其他神经元无法学习的相关输出，而且，如果存在该数据集的更多输入向量可以学习，那么，对下一个输入向量重复步骤(iii)，另外，如果有更多待训练的输出，那么对该神经网络的下一个输出重复步骤(i)至(iii)；

如果该神经网络的所选输出的输出神经元无法学习以产生输入向量的相关输出，那么该输出神经元变成该神经网络的隐层的一个神经元，将一新神经元增加到该隐层中以学习该输出神经元无法学习的相关输出，并且为所选输出而将一新输出神经元增加到该神经网络中，而且，如果存在该数据集的更多输入向量可以学习，那么，对下一个输入向量重复步骤(iii)，另外，如果有更多的待训练输出，那么对该神经网络的下一个输出重复步骤(i)至(iii)。

2.一种人工神经网络的训练方法，所述方法包括以下步骤：

(i)准备该神经网络待学习的数据集；

(ii)通过选择待训练的神经网络的一个输出，并且为所选输出而将该神经网络的一个输出神经元连接到该神经网络的输入层中的输入神经元，从而对该神经网络进行初始化；并且

(iii)通过将所准备的数据集的一个输入向量应用到该神经网络的第一隐层，或者在该神经网络没有隐层时将其应用到该神经网络的输出层，并且确定该神经网络的每一层中所选输出的至少一个神经元是否可以学习以产生该输入向量的相关输出，从而将所准备的数据集应用到该神经网络以进行学习，其中：

如果该神经网络的每一层中所选输出的至少一个神经元可以学习以产生该输入向量的相关输出，而且如果存在所准备数据集的更多输入向量可以学习，那么，对下一个输入向量重复步骤(iii)，另外，如果有更多的待训练输出，那么对该神经网络的下一个输出重复步骤(ii)和(iii)；

如果该神经网络的所选输出的隐层中没有神经元可以学习以产生输入向量的相关输出，那么将一新神经元增加到那一层中以学习所选输出的那一层中任何其他神经元无法学习的相关输出，而且，如果存在该数据集的更多输入向量可以学习，那么，对下一个输入向量重复步骤(iii)，另外，如果有更多的待训练输出，那么对该神经网络的下一个输出重复步骤(ii)和(iii)；

如果该神经网络的所选输出的输出神经元无法学习以产生输入向量的相关输出，那么该输出神经元变成该神经网络的隐层的一个神经元，将一新神经元增加到该隐层中以学习该输出神经元无法学习的相关输出，并且为所选输出而将一新输出神经元增加到该神经网络中，而且，如果存在该数据集的更多输入向量可以学习，那么，对下一个输入向量重复步骤(iii)，另外，如果有更多的待训练输出，那么对该神经网络的下一个输出重复步骤(ii)和(iii)。

3.如权利要求1或2所述的方法，其特征在于，该神经网络的神经元是线性阈值门(LTGs)。

4.如权利要求3所述的方法，其特征在于，在所述步骤(iii)中，确定LTG是否能够学习以产生输入向量的相关输出，就是确定多个权与LTG阈值之间的关系是否具有为LTG以前所学而给定的解。

5.如权利要求4所述的方法，其特征在于，所述关系是一约束，而且，其中输入向量和LTG的权向量基于该神经网络的所选输出而与LTG的阈值形成一个关系。