[发明专利]用于将机器学习应用于应用的方法和系统

说明书

一种将机器学习、特别是将基于参数的机器学习应用于应用的方法，包括下列步骤：a)由学习器(20)生成候选参数集合（PC）；b)基于候选参数集合（PC）在至少一个仿真应用(51，52)中执行程序(80)，并且基于程序(80)的执行的测量性能信息来提供候选参数的被测集合(PC1，PC2)的中间结果(R1，R2)；c)通过训练器(30)收集预定数量的中间结果(R1，R2)，并且基于候选参数(PC)与测量性能信息的组合来提供最终结果(R)；以及d）由所述学习器(20)基于最终结果(R)来生成新候选策略(P)，以用于通过未改变的程序（80）来执行。

本公开涉及用于将机器学习应用于应用的方法、用于将机器学习应用于应用的系统、参数集合以及程序元件。

应用程序(特别是工业应用程序，例如机器人应用程序)的参数的调谐是繁琐和费时任务，以及通常在调试期间进行并且通常延迟生产的开始。

机器学习能够提供改进。然而，机器学习要求较大量的数据，特别是因为数据的一些部分仅用于训练，而其他部分用于学习。在许多工业应用中，很难得到用于机器学习的充分数量的数据。学习方法需要能够应对这个必要条件。

常见方式是所谓的探索性学习。在这种学习方法中，学习搜索新的可能性和备选方案，以通过连续实验活动来适合环境变化。但是，探索性学习在真实硬件上是相对高费用、危险并且很经常甚至不是可能的。

例如，用于机器人应用的机器学习通常使用机器学习来开始学习机器人的基本运动。由此，机器学习算法特别修改机器人应用中执行的程序，以便改进待解决任务。

不是对真实工业应用来应用机器学习，而是能够使用仿真，以便执行机器学习。通常，将基于仿真的机器学习(所谓的离线机器学习)的结果传递给真实应用是相当艰难的。通常，仿真没有充分适于现实。学习的水平(例如控制器、运动、任务)必须精心选择成防止现实差距(所述现实差距是仿真应用与真实应用之间的差距)具有严重后果。另外，在大多数情况下，对于学习过程所要求的时间对于实际应用通常过长。另外，用于具有约束的完整定义的参数的优化过程的定义极为困难。

因此，存在对于用于将机器学习应用于应用的改进方法的需要。

按照本公开的方面，提供一种用于将机器学习(特别是基于参数的机器学习)应用于应用的方法，包括下列步骤：

a) 由学习器生成候选参数集合；

b) 基于候选参数集合在至少一个仿真应用中执行程序，并且基于程序的执行的测量性能信息来提供候选参数的被测集合的中间结果；

c) 通过训练器收集预定数量的中间结果，并且基于候选参数与测量性能信息的组合来提供最终结果；以及

d) 由学习器基于最终结果来生成候选参数的新集合，以用于通过未改变的程序来执行。

仿真应用优选地是真实应用的仿真。进一步优选地，仿真应用是在机器(特别是机器人)上执行的真实工业应用(特别是真实机器人应用)的仿真。

所描述的用于应用机器学习的方法也可以被描述为“黑盒”学习。通常，仅应用（特别是应用程序）的参数及其值能够通过机器学习来识别和改进。在该方法期间，实际应用程序保持不变。换言之，黑盒指的是这样一个事实，即，学习框架的任何组成部分都不会利用有关应用的状态和条件的信息，或者在真实应用的情况下都不会利用机器的关于状态和条件的信息

仿真应用优选地在仿真模型上执行。仿真应用优选地进一步包括应用程序和应用控制。

例如，当真实应用是真实机器人应用时，仿真应用优选地包括机器人应用程序和机器人控制，包括机器人与机器人环境对象之间的交互。

通过使用仿真应用(特别是分布式仿真集合)基于真实应用来补充机器学习，能够得到对于正确机器学习所必需的增加数量的学习数据。因此，学习过程的速度能够增加。