[发明专利]一种级联多移动机器人灵活编队方法

说明书

本发明提供了一种级联多移动机器人灵活编队方法，该方法基于结合先验的非线性距离‑角度‑航向编队控制知识与连续控制的策略梯度算法，避免移动机器人盲目探索，提高了训练收敛的速度，避免了繁琐的系数调优过程，同时引入近端策略优化独立训练单个移动机器人应对局部静态、动态障碍物的灵活避障能力。该方法分为训练与推理阶段，将复杂的线上解算过程迁移到线下，基于课程学习思想独立训练编队与灵活避障策略，同时在推理环节灵活调用预训练策略，使得整个编队具有更高的自主性与灵活性。

技术领域

本发明属于多移动机器人领域，具体涉及一种基于级联架构的多移动机器人灵活编队方法，具体涉及一种基于强化学习与先验非线性距离-角度-航向编队控制的级联多移动机器人编队方法。

背景技术

随着机器人技术的发展，多移动机器人编队作业凭借其协作能力，有效提高作业效率，逐渐取代传统的单机作业。比如，多个水下机器人通过协同编队进行搜索。军事上，无人机集群、多地面移动机器人排雷、搜救、侦查等等无不体现多机编队的优势特性。近期，新冠疫情在全球肆虐，国内不少医院为了采用消杀移动机器人代替传统的人工方式进行医院的消毒工作，多个消杀移动机器人通过编队协作，有效提高了单机作业的效率。

基于距离-角度-航向的领航跟随的编队策略是实现多个移动机器人编队跟踪的常用技术之一，这种方法相对于传统领航跟随编队策略具有更好的灵活性与扩展性。该策略的基本思想是预设一个机器人作为领航者，其他机器人作为跟踪者，接着通过预设队形决定领航机器人与跟随机器人之间的相对距离、相对角度以及航向进而设计编队控制策略。

目前主流实现距离-角度-航向的领航跟随的方法有非线性控制、非线性模型预测控制等。前者包括输入输出反馈线性化控制，反馈控制等。由于引入了较多的性能增益参数，无法避免繁琐的参数调节过程；而后者由于高度依赖于精确的模型，且对在线解算速度有较高的要求。另一方面，传统领航跟随编队模型的鲁棒性有待提高，缺乏一定的灵活避障与编队恢复的能力。

随着人工智能技术的发展，深度强化学习技术由于其无模型、离线训练等优势特性也广泛用于端到端的移动机器人的相关任务中，但是大都是单机器人领域；多机领域中这种端到端的实现方式对于传感器、执行器性能的要求较严苛，状态与动作空间维数较高，且在落地实际移动机器人的过程中，训练成本过高，推理复现难度较大。

发明内容

本发明旨在针对现有技术中存在的以上不足，提供一种具有一定的灵活避障与编队恢复的能力的多移动机器人灵活编队方法。

本发明采用以下技术方案。提供一种级联多移动机器人灵活编队方法，包括:基于选定的编队队形，根据机器人间的距离、角度和航向，确定动力学模型；根据动力学模型及动力学模型约束，确定非线性移动机器人的灵活编队方法中强化学习架构的先验控制器；基于移动机器人位姿向量的超参数确定动作空间，所述动作空间包括相邻两个移动机器人的编队跟踪动作空间和每个移动机器人独立灵活避障所需动作空间；根据移动机器人姿态与速度的跟踪误差确定状态空间，所述状态空间包括：当前时间步每个移动机器人跟踪相应虚拟移动机器人的跟踪误差的状态空间、相邻移动机器人之间的状态空间以及每个移动机器人描述周围环境信息所需的状态空间；设定强化学习的奖励函数，所述奖励函数包括编队奖励函数和避障奖励函数；

基于所述先验控制器，通过与环境交互，根据动作空间、状态空间以及奖励函数执行强化学习训练，训练完成获得包括编队策略与灵活避障策略的级联多移动机器人灵活编队方法。

进一步地，所述动力学方程描述如下：

其中，η＝[x,y,θ]^T代表每个移动机器人的位姿向量，其中(x,y)为每个移动机器人的位置，θ为每个移动机器人的角度；为移动机器人的速度，ω为移动机器人的当前角速度，v_r与v_l分别代表移动机器人的左右两轮的速度；

所述动力学模型约束形式如下：