[发明专利]用于确定神经网络的网络配置的方法和设备

说明书

本发明涉及用于确定神经网络的对于预先给定的应用来说合适的网络配置的方法，所述预先给定的应用以训练数据的形式来被确定；其中所述网络配置说明了所述神经网络的架构，所述方法具有如下步骤：a)提供（S1）具有网络配置的当前的网络配置集合，其中所述当前的网络配置集合对应于关于预测误差和至少一个其它的优化目标方面的帕累托集合；b)提供（S2）网络配置变型的集合；c)根据所述当前的网络配置集合的网络配置关于所述至少一个其它的优化目标方面的概率分布来从网络配置变型的集合中选择网络配置（S3）；d)对所选择的网络配置中的每个网络配置的神经网络进行训练（S4）并且确定相对应的预测误差（error(N)）；e)根据网络配置集合的所述预测误差和所述至少一个其它的优化目标以及所选择的网络配置来对所述当前的网络配置集合进行更新（S5）；并且f)从所述当前的网络配置集合中选择合适的网络配置。

技术领域

本发明涉及神经网络，尤其是用于实现技术系统、尤其是机器人、车辆、工具或工作机（Werkmaschine）的功能的神经网络。本发明还涉及神经网络的架构搜索，以便针对特定应用找出神经网络的关于预测误差方面并且关于一个或多个优化目标方面经优化的配置。

背景技术

神经网络的特性在很大程度上由其架构所决定。神经网络的架构例如通过其网络配置来限定，该网络配置尤其通过神经元层的数目、神经元层的类型（线性变换、非线性变换、归一化、与其它神经元层的连结等等）以及诸如此类的来给出。尤其是在应用或所要解决的任务的复杂性增加的情况下，随机找出合适的网络配置花费高，因为网络配置的每个候选者都必须首先被训练，以便能够对其工作能力进行评估。

为了改善对合适的网络配置的找出，通常应用专家知识，以便在对可能的网络配置的候选者进行训练之前减少这些候选者的数目。以这种方式，可以在合理的网络架构的子集中进行搜索。

尽管采用了该方案，可能的网络配置的数量仍极大。因为对网络配置的评价只是在训练之后例如通过分析误差值来被确定，所以这在较复杂的任务并且相对应地复杂的网络配置的情况下导致针对合适的网络配置的巨大的搜索时长。

此外，对于大多数实际应用来说，需要如下神经网络，所述神经网络不仅关于预测误差方面而且关于至少一个其它的优化目标方面都被优化，该至少一个其它的优化目标例如由硬件限制以及诸如此类的来得出。

发明内容

按照本发明，规定了一种按照权利要求1所述的用于基于给定应用的训练数据来确定神经网络的网络配置的方法以及一种相对应的按照并列权利要求所述的设备。

其它的设计方案在从属权利要求中说明。

按照第一方面，规定了一种用于确定神经网络的对于预先给定的应用来说合适的网络配置的方法，所述应用尤其是用于实现技术系统、尤其是机器人、车辆、工具或工作机的功能，其中所述应用以训练数据的形式来被确定；其中所述网络配置说明了所述神经网络的架构，所述方法具有如下步骤：

a) 提供具有网络配置的当前的网络配置集合，其中所述当前的网络配置集合对应于关于预测误差和至少一个其它的优化目标方面的帕累托集合；

b) 根据这些网络配置在当前的网络配置集合中的概率分布来提供网络配置变型的集合；

c) 根据所述当前的网络配置集合的网络配置关于所述至少一个其它的优化目标方面的概率分布来从网络配置变型的集合中选择网络配置；

d) 针对所选择的网络配置中的每个网络配置确定预测误差；

e) 根据所选择的网络配置的预测误差和其它优化目标来对当前的网络配置集合进行更新；并且

f) 从当前的网络配置集合中选择合适的网络配置。