[发明专利]一种基于强化学习的多足机器人步态切换方法

说明书

本发明涉及一种基于强化学习的多足机器人步态切换方法，属于机器人控制技术领域。针对步态切换速度问题，通过制定离散点间切换规则对步态切换提出约束，获取当前步态下满足多类运动条件、运动效果良好自然的切换步态。本方法在传统步长S运动空间离散化处理的基础上，进行前后运动空间的扩展离散化处理，极大地扩大了足端可选运动状态，避免后续因步态切换方法中对运动空间的筛选导致无可用切换步态的情况。通过多次该方法的循环迭代，可以逐步实现从初始足端状态向目标步态的切换。

技术领域

本发明涉及一种针对多足机器人步态间最优切换的步态规划方法，属于机器人控制技术领域。

背景技术

在非结构化的复杂地形中，足式机器人可以通过规划离散的落足点实现稳定行走。相比轮式及履带式机器人，足式机器人具有更好的环境适应性，在物资运输、资源勘探等领域具有广阔的发展前景。其中，多足机器人各步态由于占空比不同，具有不同的运动稳定性以及运动速度，因而适用于不同的地形。因此，如何实现机器人步态间的动态自由切换，对提升其复杂地形下的足式运动性能具有重要的意义。

机器人步态间的动态自由切换过程，要满足三个运动要求：步态切换所需步数少、运动稳定性高、步态运动效果连贯自然。针对这三个要求，在现阶段能够较好实现步态切换的相关方法中，普遍引入强化学习，通过制定足端运动策略保证运动的自然，对运动的稳定裕度进行训练以获取速度及稳定裕度综合最优的步态切换方法。

但是，步态切换运动中的两个重要指标——运动速度及运动效果，对足端的运动提出了相反的要求：足端运动可能性越大，运动越灵活，越能够选择出使切换速度最快的足端点位，实现步态切换。同时，良好的运动效果对足端运动状态提出了约束，需要对足端全部可能的运动进行筛选，通过获取少量使运动效果良好的足端状态实现切换。

因此，如何规划机器人足端时序及位置上的运动，在最大化机身稳定裕度的同时平衡两者的指标，是步态切换的关键，也是难点问题。

发明内容

本发明的目的是为了克服现有技术的缺陷，为有效解决多足机器人足式步态间动态切换的技术问题，提出一种基于足端运动空间扩展离散化处理方法的步态切换方法，通过强化学习解决了初始步态向目标步态条件下，具有良好运动效果的、切换速度及稳定裕度综合最优的步态切换问题。

本发明的创新点在于：

为最大化足端运动选择，针对步态切换速度问题，在传统步长S运动空间离散化处理的基础上，进行前后运动空间的扩展离散化处理，该处理方法呈幂次关系极大地扩大了足端可选运动状态，避免后续因步态切换方法中对运动空间的筛选导致无可用切换步态的情况。

为具有自然流畅的运动效果，针对步态切换运动效果问题，提出一种步态切换方法，通过制定离散点间切换规则对步态切换提出约束，获取当前步态下满足多类运动条件、运动效果良好自然的切换步态。通过多次该方法的循环迭代，可以逐步实现从初始足端状态向目标步态的切换。

本发明采用以下技术方案实现。

一种基于强化学习的多足机器人步态切换方法，包括以下步骤：

步骤1：扩展离散化足端运动空间。

首先，基于机器人各机械腿的运动可达范围进行分析，将足端运动空间沿机器人前进方向进行扩展的离散化处理，通过机器人各足所在离散点位表达足端的位置状态，通过位置状态的排序表达机器人工作时序的变化，实现步态规划问题向数字排序的转换。扩展处理提升了足端运动的可选择性，加快了步态切换的速度。

具体可以采用以下方法实现：