[发明专利]用于计算机辅助地学习对技术系统的控制和/或调节的方法

说明书

技术领域

本发明涉及一种用于计算机辅助地学习对技术系统的控制和/或调节的方法、以及一种用于运行技术系统的相应方法和一种计算机程序产品。 

背景技术

从现有技术中公知有不同的可以用来基于预先确定的表示技术系统的运行的训练数据对该技术系统的优化运行进行建模的方法。在此，技术系统由状态、动作和后继状态来描述，其中状态是技术系统的确定的技术参数或所观测的状态参量，并且动作表示相应的可以在技术系统处改变的操纵参量。从现有技术中一般公知有强化学习方法(英语：Reinforcement Learning)，这些强化学习法针对技术系统基于训练数据学习根据优化标准的最优的动作选择规则。公知的方法所具有的缺点是，这些方法不提供在所习得的动作选择规则的统计不确定性方面的陈述。这样的不确定性尤其是在少量训练数据的情况下非常大。 

在文献[1]中描述有一种考虑到为学习动作选择规则所使用的质量函数的统计不确定性的方法。在此，用于确定动作选择规则的学习方法与统计不确定性相组合，其中基于本身公知的不确定性传播(英语：Uncertainty Propagation)-亦称高斯误差传播-确定在学习时所考虑的质量函数的统计不确定性的度量。在此，在不确定性传播的情况下，借助于协方差矩阵来考虑在学习方法中所引入的变量之间的相关性。通过这种方式，变量中的不确定性被精确地传播和计算，这在对技术系统的相应控制进行计算机辅助的学习时导致非常高的计算成本和存储空间需求。 

发明内容

因此，本发明的任务是提供一种用于对技术系统的控制和/或调节进行学习的方法，该方法考虑到在学习时所使用的训练数据的统计不确定性并且在此同时在存储空间需求和计算时间方面是高效的。 

该任务通过独立权利要求来解决。本发明的扩展方案在从属权利要求中定义。 

在根据本发明的方法中，以计算机辅助的方式学习对技术系统的控制或调节，其中该技术系统的运行由以下表征：该技术系统在运行中可以采取的状态、以及在该技术系统的运行期间被执行并且将该系统的相应状态转变成后继状态的动作。在根据本发明的方法中，基于在该技术系统的运行中所检测的包括状态、动作和后继状态的训练数据来学习质量函数和动作选择规则，其中该学习尤其是利用强化学习方法来进行。在此，该质量函数在对该技术系统特定的标准方面对该技术系统的优化运行进行建模，并且动作选择规则在该技术系统的运行中针对该技术系统的相应状态说明要优选执行的一个或多个动作。 

在根据本发明的方法中，在学习质量函数和动作选择规则期间，借助于不确定性传播确定质量函数的统计不确定性的度量，并且根据统计不确定性的该度量以及对应于对质量函数的统计最小要求的确定性参数来确定经过修改的质量函数。尤其是应当将统计不确定性的度量理解为统计方差或标准偏差的度量，优选地理解为统计方差或标准偏差本身。基于由此确定的经过修改的质量函数来学习动作选择规则。 

与文献[1]的方法不同，根据本发明的方法的特点在于，所述不确定性传播使用非对角元素被忽略、即非对角元素被设为0的协方差矩阵。因此这等同于，在不确定性传播中所考虑的变量之间的相关性被忽略。因此，不确定性不再被精确地传播和计算，而是仅仅执行逼近。尽管有该近似，但是根据本发明的方法仍然提供安全性最优的动作选择规则形式的良好结果，所述动作选择规则在考虑到统计不确定性的情况下使该技术系统的性能最大化。该方法与文献[1]的方法相比所具有的显著优点是，计算时间和所需工作存储器显著更小，因为该方法仅仅还需确定协方差矩阵的对角元素。尤其是计算时间和工作存储器需求处于与未考虑到统计不确定性的常规强化学习方法相同的数量级。 

在根据本发明的方法的优选变型方案中，质量函数和动作选择规则 的学习在考虑到评估和状态-动作概率的情况下进行。在此，相应的评估在技术系统的优化运行方面对状态、在该状态中所执行的动作以及后继动作的组合的质量进行评估，并且常常也被称为回报。状态-动作概率根据状态和在该状态中所执行的动作说明后继状态的概率。如果在学习时考虑到评估，则这些评估被包含在训练数据中，或者存在根据状态、动作和后继状态输出相应的评估的函数。