[发明专利]一种基于强化学习的蝾螈机器人路径跟踪的分层控制方法

说明书

一种基于强化学习的蝾螈机器人路径跟踪的分层控制方法。针对蝾螈仿生机器人的路径跟踪问题，建立了分层控制框架，包括基于强化学习的上层控制器和基于逆运动学的底层控制器，实现了蝾螈仿生机器人跟踪目标路径。具体地，对于上层控制器，在softActor‑Critic(演员‑评论)算法的基础上设计了状态空间表示、动作空间表示和奖励函数，可以提高跟踪精度，消除静态误差。对于底层控制器，建立了基于逆运动学腿部控制器和脊柱控制器。最终，将机器人在仿真环境中训练好的控制器迁移到真实环境中，来验证算法的可行性与泛化能力。实验结果表明，本发明能够较好的完成控制目标，在仿真到实际的迁移性与泛化性方面表现出了更好的控制效果。

技术领域

本发明属于仿生机器人路径跟踪控制的技术领域，特别是涉及一种基于强化学习的蝾螈机器人路径跟踪的分层控制方法。

背景技术

开发用于野外搜索和救援的机器人已成为一个热门的机器人研究领域，搜救场景通常很狭小，并且地形复杂，这些地方很危险，救援人员很难到达，利用机器人来辅助救援队进行探索获取信息，可以提高救援的效率。动物的一个关键特征是它们在环境中有效移动的能力，这种基本但令人惊叹的能力是数百万年进化的结果，它的灵活性和能源利用效率远远超过机器人的水平。所以仿生机器人根据动物的身体构造来设计结构，希望可以实现相同的控制效果，仿生机器人正是为了完成非常具有挑战性的野外任务而开发的，例如在灾难后的废墟中进行搜救，在不适合人类和其他普通机器人的危险环境中进行勘测探索。

对于在地面执行任务，蝾螈机器人在结构上具有四只腿和可以摆动的脊柱，所以具有穿越复杂环境的能力，同时重心较低，不容易倾倒，通过脊柱摆动配合四条腿的运动可以提高运动速度并且保持稳定性。

国内外相关领域的学者对仿生机器人开展了大量的研究工作，其中一大类是多关节仿生类机器人的研究。针对仿生类蝾螈机器人，早期开发的蝾螈仿生机器人没有腿，因此限制了它们的运动能力，后来提出的机器人，比如Salamandra robotica II，它具有四条腿和一个可以摆动的躯干，能够在借助腿在地面和浅水区运动，但是它的腿部结构只有一个关节，这严重限制了在更复杂地形运动的能力，只能在一个平面运动。下一代提出的蝾螈机器人Pleurobot与生物学上的结构极为相似，每条腿都有四个关节，具备高度的运动灵活性，这极大提高了它在复杂地形运动的能力。

众所周知，蝾螈类机器人由于其冗余度高，控制起来非常困难，在各种控制方法中，采用信息融合和平滑输出信号的中央模式发生器是一种有效的控制方法，但由于其复杂的耦合关系，所涉及的参数的优化比较复杂，难以获得比较合适的震荡参数。另一种方法是通过逆运动学规划机器人的轨迹，利用力反馈设计机器人的控制律。此外，有学者提出了一种实时的脊柱腿协调控制算法，该算法消耗大量的计算资源，在研究转弯运动时没有考虑左右步幅长度差值对转弯半径的影响。后来也有团队使用IMU和相机来收集环境信息，但是在将传感器融合算法的输出用来实现闭环控制时并没有成功。

发明内容

本发明的目的是解决现有蝾螈类机器人控制方法涉及的参数优化比较复杂、算法消耗大量的计算资源等问题，提供一种基于强化学习的蝾螈机器人路径跟踪的分层控制方法。

本发明为了解决蝾螈机器人路径跟踪的问题采用了分层控制的方法，上层的策略网络用强化学习训练，提供复杂的全局决策，而底层的传统控制器实现来自上层控制器的命令。与其他控制算法相比，本发明的分层控制框架充分利用了强化学习和传统控制算法的特点，也就是说，上层控制器通常适合于处理缓慢变化的、高维的信息来做出全局决策，而底层的传统控制器则擅长于跟踪特定的命令。此外，针对直线路径跟踪的具体任务，将状态积分补偿引入到soft Actor-Critic算法中，实验结果表明，与普通soft Actor-Critic算法相比，该算法取得了明显的改进。

本发明的技术方案