[发明专利]神经网络的正则化训练

权利要求书

1.一种用于借助于学习数据集（2）来训练人工神经网络KNN（1）的方法（100），所述KNN将一个或多个输入参量（11）转化成一个或多个输出参量（13），所述学习数据集包括具有测量数据的学习输入参量值（11a）和相关的学习输出参量值（13a），其中所述测量数据是通过物理测量过程和/或通过对这种测量过程的部分或完整的模拟和/或通过对能利用这种测量过程来观察的技术系统的部分或完整的模拟来获得的，其中所述KNN（1）的行为通过参数（12）来表征，所述方法具有如下步骤：

• 来自至少一个学习数据集（2）的学习输入参量值（11a）由所述KNN（1）映射（110）到输出参量值（13）；

• 所述输出参量值（13）与相应的学习输出参量值（13a）的偏差根据成本函数（14）被处理（120）成所述KNN（1）在处理所述学习输入参量值（11a）时的误差（14a）的量度；

• 从所述误差（14a），通过反向传播来确定（130）对所述参数（12）的如下更改，在通过所述KNN（1）来进一步处理学习输入参量值（11a）时，对所述更改的执行预计会改善通过所述成本函数（14）对在此所获得的输出参量值（13）的评估，而且将所述更改应用（140）于所述KNN（1）；

• 其中所述输出参量值（13）的一部分（13*）至少在反向传播（130）中被排除（131）。

2. 根据权利要求1所述的方法（100），其中对于至少一个学习数据集（2），根据所述学习数据集（2）的学习输入参量值（11a）所产生的输出参量值（13）的至少40 %并且最多60%、优选地至少45 %并且最多55 %的比例（13*）在所述反向传播中被排除（132）。

3.根据权利要求1至2中任一项所述的方法（100），其中所述输入参量（11）是被分配给图像的以二维网格来布置的像素的像素值。

4.根据权利要求3所述的方法（100），其中通过处理至少一个学习数据集（2）所获得的在所述反向传播中被排除（131）的输出参量值（13）在像素网格中对应于方形块，其中所述输出参量（13）给所述像素分别分配语义含义。

5.根据权利要求4所述的方法（100），其中所述方形块具有在16与256个像素之间的边长。

6.根据权利要求1至3中任一项所述的方法，其中所述输出参量（13）是概率和/或置信度，用作分类器的KNN（1）利用所述概率和/或置信度来将所述输入参量（11）分配给指定分类的一个或多个类别（3a-3c）。

7.根据权利要求1至6中任一项所述的方法（100），其中在所述反向传播中被排除的输出参量值（13）的频率分布通过分别争取达到所述输出参量值（13）的学习输出参量值（13a）来对应（131a）于在所使用的学习数据集（2）中的不同的学习输出参量值（13a）的频率分布。

8.根据权利要求1至7中任一项所述的方法（100），其中在所述反向传播中被排除的输出参量值（13）也从通过所述成本函数（14）进行的评估中被排除（121）。

9.根据权利要求1至7中任一项所述的方法（100），其中输出参量值（13）根据其与相应的学习输出参量值（13a）的偏差来排序（133a），而且其中只有具有最大偏差的输出参量值（13）的规定比例包含（133b）在所述反向传播中。

10.根据权利要求1至7中任一项所述的方法（100），其中输出参量值（13）根据其不确定性来排序（134a），而且其中只有具有最大不确定性的输出参量值（13）的规定比例包含（134b）在所述反向传播中。

11.根据权利要求1至9中任一项所述的方法（100），其中在所述训练期间，所述KNN（1）的神经元和/或其它处理单元和/或这种神经元和/或其它处理单元之间的连接根据指定分布而随机暂时被停用（141）。