[发明专利]基于模型相关强化学习的仿人机器人步态控制方法

摘要

本发明公开了一种基于模型相关强化学习的仿人机器人步态控制方法，包括步骤：1)为仿人机器人行走前后稳定控制任务定义强化学习框架；2)使用基于稀疏在线高斯过程的模型相关强化学习方法对仿人机器人进行步态控制；3)使用PID控制器对强化学习仿人机器人控制器的动作选择方法进行改进，改进操作为使用PID控制器获取强化学习控制器动作选择操作的寻优初始点。本发明使用强化学习来对仿人机器人行走过程中的步态进行控制，从而使仿人机器人的行走控制能通过与环境交互来进行自主调节，达到更好的控制效果，使仿人机器人在前后方向上保持稳定。

主权项

1.基于模型相关强化学习的仿人机器人步态控制方法，其特征在于，包括以下步骤：1)为仿人机器人行走前后稳定控制任务定义强化学习框架；2)使用基于稀疏在线高斯过程的模型相关强化学习方法对仿人机器人进行步态控制；其中，所述的基于稀疏在线高斯过程的模型相关强化学习方法，主要包含以下几个步骤：2.1)使用稀疏在线高斯过程构建环境模型，该环境模型一共包含6个稀疏在线高斯过程模型，以仿人机器人的状态和动作为输入，以下一状态和立即回报值的预测为输出；2.2)对Q值函数采用批更新的方法，只有当新获取的经验数目达到200个时，才对Q值函数进行更新；2.3)使用一个基于UCB的连续动作选择方法，使用稀疏在线高斯过程的方差输出和利用环境模型对仿人机器人后继状态和立即回报值的预测，构建了一条基于UCB的动作评判函数：其中：UCB(fs,a)＝y(fs,a)+κδ(fs,a)UCB(r(t))＝E(r(t))+2σ(r(t))y(fs,a)是对该点的Q值的预测均值，δ(fs,a)是对该点的Q值的预测方差，E(r(t))是立即回报值r(t)的预测均值，σ(r(t))是r(t)的预测方差；使用梯度下降法求解该函数来选择动作，并参考ε‑greedy策略的思想，以ε的概率随机选取动作；3)使用PID控制器对强化学习仿人机器人控制器的动作选择方法进行改进，改进操作为使用PID控制器获取强化学习控制器动作选择操作的寻优初始点。