[发明专利]一种基于多智能体深度强化学习的多机探寻方法及系统

说明书

本发明提供一种基于多智能体深度强化学习的多机探寻方法及系统，包括搭建机器人集群仿真平台，将机器人集群探寻任务建模为分布式部分可观测马尔可夫决策过程，获取虚拟机器人集群完成探寻任务的轨迹信息并储存在经验回放缓存中，针对虚拟机器人集群搭建图像特征提取网络、值估计网络和值分解网络，基于多智能体深度强化学习进行迭代优化，得到最佳参数，在仿真平台上将虚拟目标场景与虚拟机器人集群结合后进行组合训练，便于部署真实目标场景和真实机器人集群，本发明能够在训练时获取全局的信息进行集中式学习，使得机器人可以学习到集体行为，大大提升了工作效率，且不容易出现目标冲突、互相干扰等问题。

技术领域

本发明涉及机器人技术领域，尤其涉及一种基于多智能体深度强化学习的多机探寻方法及系统。

背景技术

近年来，机器人技术在外界感知、运动控制、定位导航等方面的研究受到了广泛的关注。其中，机器人集群作为群体智能的代表，因其可以集体地、自发地组织行为完成任务，在个人、社会等层面都具有广阔的应用前景。

但是，由于多机探寻任务中机器人的部分可观测性和机器人之间通信的约束，以及随着机器人数量增加带来的决策空间的指数型扩大和场景的复杂度增加，机器人集群的协同决策面临着巨大的挑战。

使用传统强化学习的多机探寻方法将每个机器人作为单独的个体，忽略了机器人之间的交互作用，使得完成集群任务时经常出现目标冲突、互相干扰等问题，大大降低了工作效率。对于过大的决策空间和复杂的场景，使用传统深度强化学习的方法也容易出现无法收敛到最优解的问题，使得机器人集群在完成任务时，效率大大降低。

发明内容

根据现有技术的不足，本发明的目的是提供一种基于多智能体深度强化学习的多机探寻方法及系统，能够在训练时获取全局的信息进行集中式学习，使得机器人可以学习到集体行为，大大提升了工作效率，且不容易出现目标冲突、互相干扰等问题。

为了解决上述技术问题，本发明采用的技术方案为：

本发明提供一种基于多智能体深度强化学习的多机探寻方法，包括以下步骤：

一种基于多智能体深度强化学习的多机探寻方法，包括以下步骤：

步骤1、搭建机器人集群仿真平台，包括虚拟目标场景的设计、虚拟障碍物的布置以及对虚拟机器人集群的设计与组合，虚拟机器人集群包括N个虚拟机器人；

步骤2、将机器人集群探寻任务建模为分布式部分可观测马尔可夫决策过程；

步骤3、获取虚拟机器人集群完成探寻任务的轨迹信息，并储存在经验回放缓存中；

步骤4、针对虚拟机器人集群搭建图像特征提取网络、值估计网络和值分解网络，其中，值分解网络使用多头注意力机制估计全局状态价值；

步骤5、基于多智能体深度强化学习进行迭代优化，训练图像特征提取网络、值估计网络和值分解网络的网络参数，得到最佳网络参数；

步骤6、在仿真平台上，将虚拟目标场景与虚拟机器人集群结合后进行组合训练，进而部署于真实目标场景和真实机器人集群中。

进一步地，在所述的步骤2中，分布式部分可观测马尔可夫决策过程为：

其中，为虚拟机器人个数，为状态空间，为动作空间，为时刻第个虚拟机器人选择的动作，，为时刻虚拟机器人集群选择的联合动作集，，为时刻的系统状态，为时刻的系统状态，为下选择后转移到的状态转移概率函数，为下选择的奖励函数，为观测空间，为第个虚拟机器人的观测，，为第个虚拟机器人选择后在下虚拟机器人观测到的条件观测概率，为折扣系数。

进一步地，在所述的步骤3中，虚拟机器人集群完成探索与搜寻任务的一条轨迹信息包含：

，