[发明专利]神经网络的正则化训练

说明书

一种用于借助于学习数据集（2）来训练人工神经网络KNN（1）的方法（100），所述KNN将一个或多个输入参量（11）转化成一个或多个输出参量（13），所述学习数据集包括具有测量数据的学习输入参量值（11a）和相关的学习输出参量值（13a），所述方法具有如下步骤：来自至少一个学习数据集（2）的学习输入参量值（11a）由所述KNN（1）映射（110）到输出参量值（13）；所述输出参量值（13）与相应的学习输出参量值（13a）的偏差根据成本函数（14）被处理（120）成所述KNN（1）在处理所述学习输入参量值（11a）时的误差（14a）的量度；从所述误差（14a），通过反向传播来确定（130）对所述参数（12）的如下更改，在通过所述KNN（1）来进一步处理学习输入参量值（11a）时，对所述更改的执行预计会改善通过所述成本函数（14）对在此所获得的输出参量值（13）的评估，而且将所述更改应用（140）于所述KNN（1）；其中所述输出参量值（13）的一部分（13*）至少在反向传播（130）中被排除（131）。

技术领域

本发明涉及对例如可用于测量数据的分类或语义分割的神经网络的训练。

背景技术

通常，训练人类驾驶员在道路交通中对车辆的驾驶，其方式是使驾校学生在其培训范围内总是反复以特定规则来面对情况。驾校学生必须对这些情况分别做出反应并且从教练的评论或者甚至干预中获得该驾校学生的反应是对还是错的反馈。这种利用有限数目的情况进行的训练应该使驾校学生有能力在独立驾驶车辆时也胜任不熟悉的情况。

为了使车辆完全或部分自动化地参与道路交通，谋求利用能以非常类似的方式训练的网络来控制这些车辆。这些网络例如从车辆环境中获得传感器数据作为输入参量，并且提供用来干预车辆的运行的操控信号和/或从中形成这样的操控信号的初级产品，作为输出参量。例如，这样的初级产品可以是对车辆环境中的对象的分类和/或对车辆环境的语义分割。

发明内容

在本发明的范围内，开发了一种用于训练人工神经网络KNN的方法。KNN将一个或多个输入参量转化成一个或多个输出参量。

输入参量例如可以是图像数据，诸如相机图像、视频图像、雷达图像、激光雷达图像或者超声图像。输出参量例如可以包括到指定分类的一个或多个类别的分配。这些类别例如可以表示不同对象。

该训练依据学习数据集来进行，这些学习数据集包含学习输入参量值和相关的学习输出参量值。在此，至少学习输入参量值包括测量数据，这些测量数据是通过物理测量过程和/或通过对这种测量过程的部分或完整的模拟和/或通过对能利用这种测量过程来观察的技术系统的部分或完整的模拟来获得的。

在此，术语“学习数据集”并不是指所有可用的学习数据的全体，而是指一个或多个学习输入参量值与正好被分配给这些学习输入参量值作为“标记”的学习输出参量值的组合。对于用于分类和/或回归的可训练模块，学习数据集例如可以包括图像，作为学习输入参量值结合该可训练模块在理想情况下旨在据此生成的作为学习输出参量值的向量的Softmax分数的矩阵。

在训练时，来自至少一个学习数据集的学习输入参量值由KNN映射到输出参量值。输出参量值与相应的学习输出参量值的偏差根据成本函数（“Loss-Funktion”）被处理成KNN在处理学习输入参量值时的误差的量度。

KNN的行为通过参数来表征。这些参数尤其例如可以包括权重，利用这些权重来将被输送给KNN的神经元和/或其它处理单元的输入求和，用于激活该神经元或该处理单元。从依据成本函数所确定的误差，通过KNN的反向传播来确定对参数的如下更改，在通过KNN来进一步处理学习输入参量值时，对这些更改的执行预计会改善通过成本函数对在此所获得的输出参量值的评估。这些更改被应用于KNN。

反向传播尤其例如可以包含：根据参数对该误差的影响来更改这些参数。为此，尤其是例如可以确定该误差对这些参数的偏导数。