[发明专利]操作致动器调节系统的方法和装置、计算机程序和机器可读存储介质

权利要求书

1.一种用于操作致动器调节系统的方法，其设置为用于将致动器的调节变量调节为可预定义的目标变量，所述致动器调节系统被设置为根据表征调节策略的变量来生成校正变量并根据所述校正变量来控制所述致动器，

其中，表征所述调节策略的所述变量是根据值函数来确定的，其中，所述值函数是利用贝尔曼方程通过对迭代值函数进行连续迭代而逐渐逼近所述值函数而迭代地确定的，其中，通过贝尔曼方程从前一次迭代的迭代值函数来确定后一次迭代的迭代值函数，

其中，对于贝尔曼方程的求解，替代使用前一次迭代的迭代值函数，而仅使用其在基本函数的集合所覆盖的函数空间上的投影。

2.根据权利要求1所述的方法，其中，替代确定所述后一次迭代的迭代值函数，而仅确定其在由基本函数的第二集合所覆盖的函数空间上的投影。

3.根据权利要求1所述的方法，其中，将高斯函数用作基本函数。

4.根据权利要求1所述的方法，其中，通过数值积分法来确定贝尔曼方程的积分的值。

5.根据权利要求1所述的方法，其中，根据所述迭代值函数与其在所述集合所覆盖的函数空间上的投影之间的最大残差有多大，通过向所述集合中添加至少一个另外的基本函数来迭代地确定基本函数的后一集合。

6.根据权利要求5所述的方法，其中，根据所述调节变量的最大点来选择所述至少一个另外的基本函数，其中，在所述最大点处所述残差变成最大。

7.根据权利要求6所述的方法，其中，在最大点处所述至少一个另外的基本函数取其最大值。

8.根据权利要求6所述的方法，其中，根据在所述最大点处表征所述残差的曲率的变量、在所述最大点处使用所述残差的黑塞矩阵，来选择所述至少一个另外的基本函数。

9.根据权利要求8所述的方法，其中，以如下方式选择所述至少一个另外的基本函数：使得在所述最大点处，其黑塞矩阵等于所述残差的黑塞矩阵。

10.根据权利要求1所述的方法，其中，利用所述致动器的模型来确定贝尔曼方程所依赖的条件概率。

11.根据权利要求10所述的方法，其中，所述模型是高斯过程。

12.根据权利要求10所述的方法，其中，在确定表征所述调节策略的所述变量之后，根据所述校正变量和之后所得的调节变量来适应所述模型，其中，所述校正变量在考虑所述调节策略而使用所述致动器调节系统来调节所述致动器的过程中被馈送至所述致动器，其中，在调整所述模型之后，再次确定表征所述调节策略的所述变量，其中，然后通过现在适应后的模型来确定所述条件概率。

13.根据权利要求1所述的方法，其中，根据表征所述调节策略的所述变量来生成所述校正变量，并且根据所述校正变量来控制所述致动器。

14.一种存储有计算机程序的计算机可读存储介质，其中，当所述计算机程序由计算机执行时使得所述计算机执行根据权利要求1所述的方法。

15.一种学习系统，用于自动设置表征致动器调节系统的调节策略的变量，其被设置为用于将所述致动器的调节变量调节为可预定义的目标变量，其中，所述学习系统设置为执行根据权利要求1至12中任一项所述的方法。

16.一种致动器调节系统，其被设置为依据根据权利要求13所述的方法来控制致动器。