[发明专利]一种四足机器人运动控制自生成和实物迁移方法

权利要求书

1.一种四足机器人运动控制自生成和实物迁移方法，其特征在于，包括：

步骤1：利用开源Bullet物理引擎构建四足机器人快速仿真环境，包括四足机器人物理模型和周围环境的物理属性；四足机器人的传感器信息通过插件形式加入仿真环境，并通过可视化的方式进行显示；

步骤2：在仿真环境中，使用PPO算法优化四足机器人运动控制器，通过确定影响四足机器人运动控制性能的参数，学习鲁棒的控制器来缩小仿真模型和实际模型的差异，提高迁移成功率，在仿真环境中，实现控制策略的自主生成；

步骤3：将仿真中学习的运动控制器移植到实际四足机器人的控制板上，以惯性测量单元测量的信息作为控制器的输入，由运动控制器预测四足机器人腿部的关节角度，输出到对应电机，实现四足机器人在实际环境下的稳定行走。

2.根据权利要求1所述的一种四足机器人运动控制自生成和实物迁移方法，其特征在于：四足机器人的物理模型依据实际四足机器人的关节与连杆的相对关系、惯性属性、几何特点和碰撞模型建立；周围环境的物理属性考虑地面的摩擦力和机器人所受的外力。

3.根据权利要求1所述的一种四足机器人运动控制自生成和实物迁移方法，其特征在于：步骤2中的深度强化学习PPO算法所使用的回报函数R：

R＝λ₀*(x₁-x₀)-λ₁*(y₁-y₀)-λ₂*(z₁-z₀)-λ₃*E

其中，λ_i(i＝0,1,2,3)表示奖励函数各部分所占的权重，通过调节λ_i的相对大小来控制各个指标的相对重要程度，λ_i均为正，代表奖励函数奖励四足机器人向前行进，而不奖励机器人左右摇晃和上下颠簸，同时对所消耗的能量进行限制；x₁，y₁，z₁表示笛卡尔坐标系下当前四足机器人的三维坐标值，x₀，y₀，z₀表示前一时刻的坐标值，取当前的变化量作为奖励函数的指标；E表示四足机器人当前时刻消耗的能量，使用八个电机的转速和输出转矩乘积的和来表示。

4.根据权利要求1所述的一种四足机器人运动控制自生成和实物迁移方法，其特征在于：使用有先验知识的强化学习优化四足机器人腿部的关节角度：

θ＝A_θ*sin(2*π*f*t+p)+θ₁

γ＝A_γ*sin(2*π*f*t+p)+γ₁

其中，θ为四足机器人腿部前后摆动的角度，γ为四足机器人腿部上下摆动的角度，使用正弦函数保证四足机器人腿部运动的周期性，作为强化学习的先验知识，A_θ，A_γ为正弦函数的幅值，f为四足机器人运动的步态频率，t为运动的时间，p为四足机器人腿的相位，θ₁和γ₁为强化学习对先验知识做修正的值。

5.根据权利要求1所述的一种四足机器人运动控制自生成和实物迁移方法，其特征在于：通过系统辨识的方法整理得到影响四足机器人运动控制性能的参数：四足机器人质量、电机摩擦、控制延时、接触摩擦、转动惯量和电机模型。

6.根据权利要求1所述的一种四足机器人运动控制自生成和实物迁移方法，其特征在于：提高控制器的抗干扰能力，在一定范围内随机化仿真模型参数、在训练中加入随机的干扰力、随机化四足机器人每条腿的初始位置及在电机和惯性测量单元的读数中加入高斯噪声。

7.根据权利要求1所述的一种四足机器人运动控制自生成和实物迁移方法，其特征在于：在步骤3中，包括以下步骤：

步骤3.1：考虑仿真模型中确定的参数和鲁棒性的控制器，在仿真中使用PPO深度强化学习算法优化控制器，实现控制策略的自主生成；

步骤3.2：将训练好的整个仿真环境迁移到实际的四足机器人控制板上，使四足机器人四足悬空，采用仿真环境下，四足机器人的状态作为控制器的输入，将控制器输出的关节角度通过串口发送到电机控制器，驱动对应腿部运动，在此过程中，观察实际四足机器人的步态是否与仿真环境下四足机器人的步态保持一致；

步骤3.3：在实现步骤3.2的前提下，将控制器的输入替换为实际四足机器人的状态，即为惯性测量单元的获取的实际四足机器人翻滚角，俯仰角和这两个轴的角速度，让四足机器人的四足触地，测试四足机器人在实际环境下的运动性能；

重复步骤3.1-3.3，直到四足机器人能在实际环境下实现稳定的步态生成。