[发明专利]一种基于深度强化学习的双足机器人步态规划方法

说明书

本发明公开了一种基于深度强化学习的双足机器人步态规划方法，利用人体步态的稳定性和柔顺性，结合深度强化学习对双足机器人步态进行有效控制，包括以下步骤：1)建立被动双足机器人模型；2)人体步态数据和目标步态数据的获取及处理；3)使用降噪自动编码器分别提取双足机器人步态数据与人体步态数据中的隐含特征；4)利用深度强化学习对人体步态特征进行学习，进而规划双足机器人步态。本发明将深度强化学习和人体步态数据相结合，控制双足机器人像人一样稳定、柔顺的行走。

技术领域

本发明涉及双足机器人技术领域，具体涉及一种基于深度强化学习的双足机器人步态规划方法。

背景技术

目前移动机器人的移动方式包括履带式、轮式、双足等。相较于履带式、轮式机器人，双足机器人的适应能力更强，既可以在平整地面运动，又能在非规则环境中运动(台阶上下、不平整地面行走等)。但是，双足机器人本身是一种高度非线性混杂动力学系统，其步态规划一直是一个难点问题。

双足机器人的步态规划，除了保持步行的稳定性，还必须考虑步行运动的能效、柔顺性、环境适应性等问题。在双足机器人步态规划中常用基于简化模型的步态规划方法。基于简化模型的方法是从双足机器人步行的运动学和动力学角度出发，只考虑机器人主要特征并将其简化为基本的模型，例如倒立摆、二连杆、四连杆等模型，然后基于这些简化模型对双足机器人进行步态规划。基于简化模型的方法忽略了双足机器人的部分物理特征，使得双足机器人存在抗干扰能力弱、对环境敏感、步态单一等问题。基于智能算法的步态规划方法因其具有可学习、自适应、容错高等特点，成为了目前研究的热点。基于智能算法的步态规划方法包括神经网络、支持向量机、模糊控制、强化学习等。但通常情况下智能算法只能保证双足机器人的稳定行走，不能保证机器人稳定行走的同时拥有较高效和柔顺的步态，有时甚至导致双足机器人会出现生硬的、有违常理的步态。

发明内容

本发明的目的在于解决上述问题，提供一种基于深度强化学习的双足机器人步态规划方法。本发明利用有膝双足机器人模型在结构和行走过程上与人体模型相近的特点，结合大数据驱动下的深度强化学习方法，解决基于模型的步态规划方法抗干扰能力弱、常规智能步态规划方法步态生硬等问题，提高机器人行走时的稳定性和柔顺性。

为实现上述目的，本发明是根据以下技术方案实现的：

一种基于深度强化学习的双足机器人步态规划方法，其特征在于，包括如下步骤：

步骤S1：建立双足机器人模型，描述机器人行走过程；

步骤S2：获取并处理人体步态数据和目标步态数据；

步骤S3：使用降噪自动编码器分别提取双足机器人步态数据与人体步态数据中的隐含特征；

步骤S4：利用深度强化学习方法对人体步态特征进行学习，进而规划双足机器人步态。

上述技术方案中，步骤S1具体包括以下步骤：

步骤S101：建立4连杆有膝圆弧足机器人模型；其中，机器人模型包括2个大腿，2个小腿以及2个圆弧足，腿部由刚性杆通过铰链无摩擦地连接在一起，圆弧足分别固定连接在小腿上，支撑腿和摆动腿具有完全相同的质量和几何参数，且腿的质量均匀分布，机器人模型的膝关节处设置限位机构以模拟人体的膝关节功能，在髋关节设置两台电机，分别对支撑腿和摆动腿施加控制力矩；

步骤S102：以机器人行走过程中前进方向的右侧面为视点对模型步行过程进行分析，选择实时表征机器人状态的无量纲物理量，将所选择的物理量定义为机器人步行状态Θ_r，机器人步行状态被描述为：

其中，取逆时针旋转为正，θ_r1，为摆动腿小腿到竖直方向的角度和角速度；θ_r2，为摆动腿大腿到竖直方向的角度和角速度；θ_r3，为支撑腿小腿到竖直方向的角度和角速度。