[发明专利]用于控制机器人的方法和机器人控制器

说明书

根据各种实施例，描述了一种用于使用来自非欧几里得原始控制参数空间的控制参数值来控制机器人的方法，包括：在原始控制参数空间上执行表示机器人的期望控制目标的目标函数的贝叶斯优化；以及根据在贝叶斯优化中找到的来自原始控制参数空间的控制参数值来控制机器人；其中所述贝叶斯优化包括：使用所述观测控制参数值将所述原始控制参数空间变换到降低的控制参数空间，其中所述原始控制参数空间包括第一数量的维度，其中所述降低的控制参数空间包括第二数量的维度，并且其中所述第一数量的维度高于所述第二数量的维度；通过在迭代搜索中搜索采集函数的最优值来确定目标函数在降低的控制参数空间中的评估点，其包括，在每次迭代中，使用候选评估点处的降低的控制参数空间的切空间中的搜索方向来更新候选评估点；将更新的候选评估点从切空间映射到降低的控制参数空间；以及使用所映射的更新的候选评估点作为下一迭代的评估点，直到满足停止准则；以及将所确定的评估点从降低的控制参数空间映射到原始控制参数空间。

技术领域

本公开涉及用于控制机器人的方法和机器人控制器。

背景技术

贝叶斯优化（BO）由于其数据效率和无梯度方法，最近在机器人学中变得流行，以在直接强化学习中优化控制参数和参数策略。

然而，当参数空间为高维空间时，贝叶斯优化算法优化机器人控制参数的性能可能会受到严重影响。此外，应当注意，机器人控制中的参数空间可以是非欧几里得空间。例如，刚度可以由正定矩阵表示（即，参数空间形成对称正定矩阵的流形），并且单位球面上的向量可以用于表示取向。

鉴于以上所述，期望用于对高维非欧几里得参数空间执行贝叶斯优化的有效方法。

在Wang等的“ Bayesian Optimization in High Dimensions via RandomEmbeddings” （Proceedings of the Twenty-Third International Joint Conferenceon Artificial Intelligence（第二十三届国际人工智能联合会议论文集），2013年）中，描述了一种利用有效低维的贝叶斯优化方法。

在Zang等的“High Dimensional Bayesian Optimization via SupervisedDimension Reduction”（arXiv:1907.08953，2019年）中，描述了一种用于学习低维参数子空间的有监督降维方法。

在Moriconi等的“High-dimensional Bayesian optimization using low-dimensional feature spaces”（arXiv:1902.10675，2019年）中，描述了编码器-解码器贝叶斯优化，其中编码器学习参数空间的非线性低维表示。

在Antonova等的“Bayesian Optimization in Variational Latent Spaceswith Dynamic Compression”（arXiv:1907.04796，2019年）中，描述了一种贝叶斯优化方法，其中在低维空间中对目标函数进行建模，并且其中在高维空间中对采集函数进行优化。

在Rana等的“High Dimensional Bayesian Optimization with ElasticGaussian Process”（Proceedings of the 34th International Conference on MachineLearning（第34届国际机器学习会议论文集），2017年）中，描述了一种使用弹性高斯过程的贝叶斯优化方法。