[发明专利]一种基于最大熵强化学习的多机器人协同围捕方法

说明书

本发明提供一种基于最大熵强化学习的多机器人协同围捕方法。本发明方法，包括：建立追逃对抗场景；基于建立的追逃对抗场景和SAC的多智能体强化学习算法，设计适用于多机器人的MASAC算法；基于课程学习的多机器人围捕策略，设计奖励函数；将设计的奖励函数与MASAC算法结合，得到基于MASAC的多机器人协同围捕策略算法。本发明采用基于最大熵的多智能体强化学习算法实现二维场景中多个移动机器人对单个目标的协同围捕；将围捕阶段划分为搜索、围困、转移、捕获四个阶段，并采用课程学习的思想为各个阶段设计奖励函数和转换条件；验证了深度强化学习方法在多追捕机器人围捕快速移动的单逃逸机器人中的有效性，并且效率得到了提升。

技术领域

本发明涉及多机器人协同路径规划技术领域，具体而言，尤其涉及一种基于最大熵强化学习的多机器人协同围捕方法。

背景技术

多机器人协同围捕策略在军事对抗、自主搜救和救援等场景中具有重要的应用价值，一直是研究热点之一。目前多机器人围捕问题的研究大多都是从经典控制理论出发，根据机器人的数学模型通过人工设定或优化求解来设计围捕策略，这一方法忽略了现实生活中对机器人建立精确数学模型的难度，具有一定的局限性。近年来，人工智能领域中的深度强化学习方法将深度学习的感知能力与强化学习的决策能力相结合，可以直接从高维原始数据学习控制策略，具有很强的通用性，因而在多机器人协同围捕问题上有了广泛的研究。其中基于最大熵的强化学习SAC方法相比于基于确定性策略梯度DDPG方法，有更强的探索能力和更快的训练速度，在处理复杂任务上更有优势。另外，已有基于深度强化学习的方法在多机器人围捕问题的研究中缺少对围捕奖励的详细设计，算法的收敛速度较慢，而且最终围捕成功率也不够高。

发明内容

根据上述提出的技术问题，提供一种基于深度强化学习的多机器人协同围捕算法，设计了基于最大熵强化学习SAC的多智能体强化学习算法，并且设计了基于课程学习机制的多机器人围捕策略的奖励函数，实现了多个追捕机器人对逃逸机器人的有效围捕，提升了算法的收敛速度和围捕成功率。

本发明采用的技术手段如下：

一种基于最大熵强化学习的多机器人协同围捕方法，包括：

建立追逃对抗场景；

基于建立的追逃对抗场景和SAC的多智能体强化学习算法，设计适用于多机器人的MASAC算法；

基于课程学习的多机器人围捕策略，设计奖励函数；

将设计的奖励函数与MASAC算法结合，得到基于MASAC的多机器人协同围捕策略算法。

进一步地，所述建立的追逃对抗场景，包含N个追捕机器人P和单个逃逸机器人E。

进一步地，所述基于建立的追逃对抗场景和SAC的多智能体强化学习算法，设计适用于多机器人的MASAC算法，包括：

利用集中式训练、分散式执行的框架将强化学习SAC算法扩展到适用于多机器人的MASAC算法，具体包括：

将MASAC的经验池设计为：

其中，表示t时刻所有机器人的观测值集合，表示t时刻所有机器人的动作集合，表示t时刻所有机器人执行各自的动作之后获得的奖励，表示t+1时刻所有机器人的观测值集合；

运用基本的Actor-Critic网络框架为每个机器人设计一个Actor网络和两个Critic网络，其中Actor网络用来学习运动的策略，即根据当前自身的位置和速度，确定下一步的运动方向和加速度，Critic网络用来评判学习到的策略的好坏，即根据当前状态(包括位置、速度)以及机器人采取的策略来评判当前状态采取该运动策略的好坏；

在SAC中，引入熵正则化使目标函数的期望最大化，其值函数为：