[发明专利]针对在硬件上的高效实施来训练神经网络

说明书

用于训练人工神经网络KNN（1）的方法（100），所述人工神经网络KNN（1）包括多个神经元（2），所述方法（100）具有步骤：•确定（110）针对所述KNN（1）在过去的时段之内总共已实现的质量（11）的度量；•依据针对一个或者多个神经元（2）对所确定的质量（11）的相应定量贡献（21）的度量，评价（120）所述一个或者多个神经元（2）；•依据所述神经元（2）的评价（120a），规定（130）用来在训练的进一步的进程中分别训练被评价的神经元（2）的措施（22），和/或规定（130）所述神经元（2）在KNN（1）中的位值（23）。根据权利要求11所述的方法（200），其中选择（205a）算术部件（4），该算术部件（4）具有针对预先给定的数目的神经元（2）、神经元（2）的层（3a，3b）和/或在神经元（2）之间的连接（25）的硬件资源，并且其中选择（205b）KNN（1）的如下模型（1a）：所述模型（1a）的神经元（2）、神经元（2）的层（3a，3b）和/或在神经元（2）之间的连接（25）的数目超过预先给定的数目。

技术领域

本发明涉及怀着如下目标来训练神经网络：例如针对车辆的车载使用，能够在硬件上高效地实施这些神经网络。

背景技术

人工神经网络KNN包括一个输入层、多个处理层和一个输出层。输入变量在输入层处被读入到KNN中，并在其穿过处理层到输出层的路径上依据通常参数化的处理链被处理。在训练KNN时，确定针对处理链的参数的如下那些值：处理链利用所述值将针对输入变量的一组学习值最优地映射到针对输出变量的所属组的学习值。

KNN的优点在于，它们可以大规模地并行处理非常高维度的数据、如比方说高分辨率图像。并行处理的代价是用于实施KNN的高硬件开销。典型地，需要具有大的存储器配置的图形处理器 (GPUs)。基于深度KNN中的大部分神经元对由KNN供应的最终结果做较少贡献或者根本不做贡献的认知，US 5,636,326A公开了，在训练完成的KNN中的神经元之间的连接的权重遭受读出过程（“剪枝（pruning）”）。以此，可以极大地减少连接和神经元的数目，而没有大的精度损失。

发明内容

在本发明的范围中，已开发了一种用于训练人工神经网络KNN的方法。以此追求如下目标：能够在硬件上高效地实施KNN。在本上下文中，“高效”可以例如被理解为，KNN以有限的硬件资源配置而够用。但是，“高效”例如也可以被理解为，最优地使用和/或充分利用网络架构（和/或KNN的一个或者多个层中的神经元）。“高效”的准确定义因此从其中采用KNN的具体应用中得出。

在本方法中，在否则以任意已知的方式进行的训练期间，在任意时间点确定针对KNN（和/或KNN的子区域）在过去的时段之内总共已实现的质量的度量。质量例如可以包括训练进展、KNN的一层或者另外的子区域的神经元的利用率、KNN的神经元总共的利用率以及也包括由此构成的任意的（例如经加权的）组合。因此，“质量”的准确定义同样从具体应用中得出。

因此，针对质量的度量例如可以包括针对KNN的训练进展的度量、针对KNN的一层或者另外的子区域的神经元的利用率的度量和/或针对KNN的神经元总共的利用率的度量。

依据针对一个或者多个神经元对所确定的质量的相应定量贡献的度量，评价所述一个或者多个神经元。依据神经元的评价，规定用来在训练的进一步的进程中分别训练被评价的神经元的措施，和/或规定这些神经元在KNN中的位值。那么，可以在进一步训练中实施这些措施。KNN中的神经元的所规定的位值也可以继续适用（fortgelten）于推断阶段，亦即继续适用于KNN在训练之后的稍后的有效运行。

尤其是，例如针对质量的度量可以被看作对各个神经元的定量贡献的经加权的或者未经加权的总和。