[发明专利]基于深度强化学习的四足机器人适应性步态自主生成方法

权利要求书

1.基于深度强化学习的四足机器人适应性步态自主生成方法，其特征在于：包括以下步骤，

步骤1：利用Pybullet物理引擎构建四足机器人快速仿真环境，包括四足机器人物理模型和物理属性；根据四足机器人需要执行行走任务的不同环境对环境的物理模型和物理属性进行建模，并通过可视化的方式进行显示；

步骤2：在仿真环境中，制定奖励函数，使用PPO算法在不同地形环境中优化四足机器人运动控制器，在仿真环境中，实现控制策略的自主生成；

步骤3：通过在不同环境、根据速度最优、能耗最优、末端控制力最优三种不同评价指标设定不同奖赏函数权重，在仿真中得到四足机器人适应性步态，根据不同的评价指标评价得到四足机器人步态；

步骤1中，包括以下步骤：

步骤1.1：构建可视化的四足机器人模型；根据四足机器人结构特性、各关节重量、转动惯量、摩擦力系数物理属性，使用SolidWorks构建四足机器人模型，并导入Pybullet物理引擎中；

步骤1.2：构建环境模型；根据环境的摩擦力系数、阻尼比和地面刚度，由平面、20°上坡、20°下坡这三个典型地形及它们的拼接地形构建相应的urdf格式地面模型并导入Pybullet物理引擎中；得到四足机器人和环境的模型之后，根据四足机器人适应性步态生成目标，构建基于强化学习的四足机器人步态自主生成框架；

步骤2中，包括以下步骤：

步骤2.1：设计深度强化学习PPO算法所使用的奖励函数R：

R＝λ₀*(x₁-x₀)+λ₁*(y₁-y₀)+λ₂*(z₁-z₀)+λ₃*E

其中，λ_i表示奖励函数各部分所占的权重，i＝0,1,2,3，通过调节λ_i的相对大小来控制各个指标的相对重要程度，λ_i的相对大小不同即可以使四足机器人生成评价指标不同的适应性步态；x₁，y₁，z₁表示当前四足机器人的三维坐标值，x₀，y₀，z₀表示前一时刻的坐标值，取当前的变化量作为奖励函数的指标；E表示四足机器人当前时刻消耗的能量，作为奖励函数的一部分，使用八个电机的当前转速和输出转矩乘积的和来表示；

步骤2.2：使用强化学习优化四足机器人腿部的关节角度：

设计强化学习框架需要的动作空间和状态空间；不对四足机器人的腿部结构进行建模，使用强化学习方法建立一个由当前时刻电机转动角度到下一时刻转动角度的映射；当前时刻电机转动角度代表了当前四足机器人的状态，下一时刻的转动角度代表了当前采取的控制策略；

步骤2.3：建立强化学习框架之后，在不同地面刚度、地面摩擦力系数、不同地形及它们的拼接中使用强化学习PPO算法优化四足机器人步态，生成适应不同环境的四足机器人步态；

在步骤2之后，根据不同的评价指标、不同的地形要求，重复执行强化学习算法，组织生成地形适应性的四足机器人步态；

在步骤3中，包括以下步骤：

步骤3.1：根据不同评价指标，设定不同奖励函数权重，根据不同奖励函数在相同地形上训练，得到不同的四足机器人适应性步态；

步骤3.2：重复步骤3.1，直到得到在一种地形上的不同评价指标下都有良好表现的四足机器人步态；使用不同地形再次使用PPO算法优化步态，使用单一典型地形、及不同典型地形的拼接作为训练环境；

步骤3.3：重复步骤3.1-3.2，直到得到在不同地形、不同评价指标下都有良好表现的四足机器人步态；

通过在不同典型地形、典型地形的拼接地形上，使用不同地面接触刚度、阻尼比、摩擦系数，以直线行走，满足不同指标要求为目的进行训练；

执行多次训练，以不同性能指标最优为基准、在不同典型地形、不同典型地形组合、不同地形物理参数的环境上训练，得到适应不同环境、满足性能指标的四足机器人步态。

2.根据权利要求1所述的基于深度强化学习的四足机器人适应性步态自主生成方法，其特征在于：根据四足机器人实际物理模型，关节相对关系，质量、惯性、转动惯量物理参数建立四足机器人仿真模型；根据环境的摩擦力系数、阻尼比和地面刚度、坡度建立环境模型。