[发明专利]多机器人的自主路径规划方法

说明书

本公开提供一种多机器人的自主路径规划方法，其包括：S1、初始化每个机器人的初始位姿和目标点的位姿；S2、将每个机器人的初始位置的集合s传入改进的深度强化学习模型中；S3、根据每个机器人的初始位置的集合s选择每个机器人的将要执行的动作集合a；S4、执行动作a得到下一时刻的位姿集合s’以及得到的奖励集合r；S5、将(s，a，r，s')存入经验池，获得训练用样本；S6、选择训练用样本中的至少部分样本对改进的深度强化学习模型进行训练，计算损失函数；S7、重复执行S1至S6；当改进的深度强化学习模型的奖励值趋于收敛时，获得训练后的改进的深度强化学习模型；S8、使用训练后的改进的深度强化学习模型，获得机器人的运动指令。

技术领域

本公开涉及一种多机器人的自主路径规划方法，属于机器人智能控制和深度强化学习领域。

背景技术

现有技术中，从传统的A*，D*，人工蚁群算法(APF)，基于采样的RRT，以及改进的RRT*，这些应用于一个机器人的路径规划方法已经日趋成熟。

随着多机器人协作的场景越来越多，路径规划方法也要不断更新并被应用于多机器人协助的场景，但是，现有技术中的这些一个机器人的路径规划方法已经不能够用于多机器人的路径规划。

考虑到不同类型的机器人和环境、静态或动态障碍物以及多个机器人对路径规划的影响因素，找到一条平滑度最高的最短路径以避免与其他机器人和障碍物发生碰撞仍然是一个具有挑战性的问题，多机器人路径规划相比单机器人由于机器人的数量增加，求解的维度也是呈指数倍的增加，这无疑也需要一种新的路径规划方法。

随着深度强化学习的方法近些年来的逐渐兴起，也有多智能体强化学习算法的提出，如DQN，IQL，DDPG，MAPPO等算法，但是这些算法主要应用在游戏领域，游戏或者这些仿真环境中对智能体的设置比较理想化，其运动模式比较简单，不是很符合实际的多机器人路径规划设定，不能直接应用中在多机器人的路径规划之中。

因此，亟需一种多机器人的自主路径规划方法，以解决上述技术问题。

发明内容

为了解决上述技术问题之一，本公开提供了一种多机器人的自主路径规划方法。

根据本公开的一个方面，提供了一种多机器人的自主路径规划方法，其包括：

S1、初始化每个机器人的初始位姿和目标点的位姿；

S2、将每个机器人的初始位置的集合s传入改进的深度强化学习模型中；

S3、根据每个机器人的初始位置的集合s选择每个机器人的将要执行的动作集合a；

S4、执行动作a得到下一时刻的位姿集合s’以及得到的奖励集合r；

S5、将(s，a，r，s')存入经验池，获得训练用样本；

S6、选择训练用样本中的至少部分样本对改进的深度强化学习模型进行训练，计算损失函数；

S7、重复执行S1至S6；当改进的深度强化学习模型的奖励值趋于收敛时，获得训练后的改进的深度强化学习模型；

S8、给所有机器人设置起始点和目标点，将机器人的位姿信息和终点信息，以及障碍物的信息穿入至训练后的改进的深度强化学习模型，获得机器人的运动指令。

根据本公开的至少一个实施方式的多机器人的自主路径规划方法，S3中，设置每个机器人运动控制由角速度ω_i和线速度v_i表示，单个机器人的动作集合为：a_i＝(v_i,ω_i)；设定线速度和角速度的限制为：v_i∈(0,2)；ω_i∈(-1.5,1.5)；