[发明专利]一种基于深度强化学习双足机器人运动控制方法及系统

权利要求书

1.一种基于深度强化学习双足机器人运动控制方法，其特征在于，包括：

获取双足机器人的当前状态信息；

根据双足机器人的当前状态信息，利用训练好的深度强化学习算法模型得到扰动预测值，所述扰动预测值是质心加速度干扰预测值和旋转加速度干扰预测值；

在机器人控制框架模型中，根据机器人的期望姿态和期望速度以及扰动预测值，将双足机器人的躯干作为自由移动的单刚体，基于受摆动腿扰动的单刚体模型的模型预测控制算法得到最优的地面反作用力；所述机器人控制框架模型包括有限状态机、摆动腿控制器、支撑腿控制器以及基于深度强化学习的摆动腿预测策略；所述支撑腿控制器采用基于受摆动腿扰动的单刚体模型的模型预测控制算法；

所述受摆动腿扰动的单刚体模型，具体为：

其中，是躯干质心位置；是躯干质心加速度；是躯干的旋转角速度；是躯干的旋转加速度；是躯干的质量；表示双足机器人腿的数量；是地面通过第个足端对躯干质心施加的反作用力；是的力臂；是躯干的惯性张量；和分别是外界对躯干施加的不确定的质心加速度干扰和旋转加速度干扰；

基于最优的地面反作用力控制双足机器人的支撑腿，进而实现对双足机器人的运动控制。

2.如权利要求1所述的一种基于深度强化学习双足机器人运动控制方法，其特征在于，所述双足机器人的当前状态信息，包括：

双足机器人当前的躯干姿态、躯干的旋转角速度、躯干质心的速度、每条腿的关节位置和关节速度，以及腿的运动状态和相位百分比时间。

3.如权利要求1所述的一种基于深度强化学习双足机器人运动控制方法，其特征在于，基于机器人控制框架模型的支撑腿控制器，根据机器人的期望姿态和期望速度以及扰动预测值得到最优的地面反作用力，具体为：

基于支撑腿控制器的受外界扰动的单刚体模型，转换成状态方程并进行离散化；

将离散性质的状态方程作为等式约束，将地面反作用力的摩擦锥约束作为不等式约束，将最优的地面反作用力求解问题转化成标准的模型预测控制形式；

将离散性质的状态方程转化为紧凑形式，基于离散性质的状态方程的紧凑形式对标准的模型预测控制问题进行简化，得到最终的二次规划问题；

基于最终的二次规划问题，求解出最优的地面反作用力。

4.如权利要求3所述的一种基于深度强化学习双足机器人运动控制方法，其特征在于，所述最终的二次规划问题，具体为：

其中，表示矩阵转置操作；是由组成的分块对角矩阵；是由组成的分块对角矩阵；Q和R是对角半正定的权重矩阵；是由组成的分块对角矩阵；是由上下堆叠组成；是由上下堆叠组成；

是系统在预测域内的状态参考轨迹；是系统预测矩阵；是输入预测矩阵；是系统的当前状态；是系统的最优输入序列。

5.如权利要求1所述的一种基于深度强化学习双足机器人运动控制方法，其特征在于，所述摆动腿控制器的工作过程，为：

根据摆动腿的期望落足点确定摆动腿的期望足端位置；

基于摆动腿的期望足端位置，利用腿部逆运动学求解摆动腿的期望关节位置；

根据摆动腿的期望关节位置，通过关节空间的比例微分控制器确定摆动腿的关节力矩；

基于摆动腿的关节力矩控制摆动腿运动。