[发明专利]基于深度强化学习的四足机器人适应性步态自主生成方法

说明书

本发明公开了基于深度强化学习的四足机器人适应性步态自主生成方法，包括步骤1)定义四足机器人运动控制特征属性、奖励函数和评价指标，明确动作空间和状态空间；2)在不同环境模型中使用基于PPO算法训练模型参数，得到适应不同环境的四足机器人步态；3)利用评价指标评价对得到的四足机器人步态进行评估。本发明解决传统四足机器人运动控制需要手动指定步态、手动根据环境不同指定不同运动控制参数等问题，建立四足机器人步态自主生成训练库，在仿真中实现四足机器人鲁棒性强、控制性能好的步态自主涌现，使强化学习算法应用在四足机器人运动控制上。

技术领域

本发明涉及机器人运动控制领域，具体是指一种四足机器人环境适应性运动控制步态的自主生成方法。

背景技术

随着机器人技术的不断发展，步行机器人的应用领域越来越广。双足机器人控制难度较高，六足及多足机器人制作难度较大，因此四足机器人由于其优势成为了足式步行机器人的研究重点。

四足机器人利用孤立的地面支撑而不是轮式机器人所需的连续地面支撑；在非平整的复杂吸顶中可以以稳定的不行方式而非接触式的行进方式避障；可以以跨步的方式跨过粗糙路面等。四足机器人由于其结构特性使其能够快速穿梭于崎岖不平的地面，这使得四足机器人尤其适用于搜救、侦察、野外运输等任务。自然界中大多数在自然地形中能够高速移动并灵活转向的哺乳动物都具有四足移动机构的配置，根据仿生学原理就可以构建四足机器人的运动控制策略。然而，不同任务中四足机器人执行移动任务的环境复杂多变，单纯的人为根据仿生学原理构建的四足机器人运动控制方法难以应用于四足机器人运动控制中。

复杂四足机器人的运动控制系统使非线性的多输入多输出不稳定系统，具有时变性和间歇动态性。目前四足机器人的步态运动大多数是基于步态的几何位置轨迹规划、关节位置控制的规划的控制策略。而对机器人进行单纯的集合位置或关节控制，会因为惯性、机器人状态不稳定等原因导致机器人失稳，同时，人工根据仿生学原理定义的四足机器人步态只能适应规定地形，不具备环境鲁棒性的同时，也不是环境中的最优控制步态。相较于传统的运动控制，使用强化学习的运动控制策略生成方法具有无模型、环境使用性强、控制策略自主生成的优点。

基于此，本发明提供了一种基于强化学习的四足机器人适应性步态自生成方法。

发明内容

本发明目的在于提供一种四足机器人适应性步态生成方法，通过机器人在仿真环境中运行的过程中不断从环境中收集信息，自主生成适应当前环境的最优运动控制策略，解决上述四足机器人运动控制步态环境鲁棒性差、控制性能不好等问题。本发明利用深度神经网络、强化学习PPO算法、分布式计算等原理设计一种基于深度强化学习的四足机器人适应性步态生成方法，使四足机器人能够自主根据不同地形环境生成相应的最优适应性步态，使四足机器人能够高效、准确的工作。

本发明提出一种四足机器人适应性步态生成方法，包括以下步骤：

步骤1：利用Pybullet物理引擎构建四足机器人快速仿真环境，包括四足机器人物理模型和物理属性；根据四足机器人需要执行行走任务的不同环境对环境的物理模型和物理属性进行建模，并通过可视化的方式进行显示；

步骤2：在仿真环境中，制定奖励函数，使用PPO算法在不同地形环境中优化四足机器人运动控制器，在仿真环境中，实现控制策略的自主生成；

步骤3：通过在不同环境、根据速度最优、能耗最优、末端控制力最优三种不同评价指标设定不同奖赏函数权重，在仿真中得到四足机器人适应性步态，根据不同的评价指标评价得到的四足机器人步态；

步骤1中，包括以下步骤：

步骤1.1：构建可视化的四足机器人模型。根据四足机器人结构特性，各关节重量、转动惯量、摩擦力系数等物理属性，使用SolidWorks构建四足机器人模型，并导入Pybullet物理引擎中；

步骤1.2：构建环境模型。根据环境的摩擦力系数、阻尼比和地面刚度，