[发明专利]一种移动多智能体协同目标搜索方法

说明书

本发明公开了一种移动多智能体协同目标搜索方法，结合AC算法“集中学习，分散执行”的思想对传统DDPG算法进行改进，对Critic的输入进行了拓展，将传统DDPG算法状态行为观测信息多对一的模式改变为一对一；接着对每个智能体采用改进的DDPG算法进行训练，每个智能体在集中学习的过程中Critic输入不仅包含自身的状态行为观测信息，而且也要包括其他智能体的策略以及行为观测信息；最后在所有智能体训练完毕的情况下，每个Actor在不考虑其它智能体的情况下独立执行协同搜索任务，本发明解决了在执行搜索任务时每个智能体状态不断改变引起的环境不稳定、搜索时间长且执行效率低下的问题。

技术领域

本发明涉及一种移动多智能体协同目标搜索方法，主要利用改进传统DDPG算法设计出更适用于复杂环境的移动多智能体协同控制策略，属于强化学习、多智能体系统和深度学习交叉技术应用领域。

背景技术

在利用智能体进行搜索的这个课题上，早期的多数研究主要是针对静态环境下单智能体的搜索，而不考虑动态环境中多智能体的协同搜索。传统的方法通常是采用随机搜索和规则搜索等。但使用随机搜索需要对环境进行提前了解，然而在现实生活中我们往往并不了解搜索区域的实际信息，所以该方法在大多数情况下也并不可行。而使用规则搜索模式进行搜索，搜索轨迹固定，此时若目标位置是随时变换的，也会大大降低搜索效率。不过随着应用场景的复杂化，目前对多智能体协同搜索的研究已经引起了人们更多的关注。显然，仅仅考虑一些简单的情况是远远不够的，而研究如何使多智能体系统具备更高的自主学习能力，从而适应不同的场景变化，才是当今社会关注的热点问题之一。

多智能体系统实际上是一种复杂的分布式的计算系统，应用范围涉及多个领域，比如机器人系统和分布决策等。而多智能体强化学习又是多智能体系统研究的重点，它通过把强化学习的技术运用到多智能体中，使得多智能体可以解决更多更为复杂的任务。不过，强化学习在多智能体目标搜索中的运用还不多，且考虑到实际环境的复杂性使得强化学习在行为策略的选择上要比一般机器人更为困难。所以结合一些传统的移动多智能体强化学习算法并对其进行优化让智能体具备更高的自主协调能力，从而实现移动智能体对环境更强的适应性，对完成多智能体协同目标搜索任务具有深刻的意义。

发明内容

发明目的：本发明的目的在于弥补实际环境中针对动态环境下多智能体协同搜索问题现有技术的不足，提出了一种移动多智能体协同目标搜索方法。该方法将传统的DDPG算法、AC算法以及DQN算法相结合，解决了传统的强化学习方法如AC算法，DQN等方法在多智能体情况下环境不稳定以及训练效率低下的问题，又避免了所有智能体只能依靠一个中央Critic来获取预测的Q值，但是要训练两个网络导致训练时间过长，(无法适应随机环境)难以在预期时间内完成任务。能够在考虑其他智能体的行为策略的同时，成功地优化多智能体的协同搜索策略，具有良好的实时性和鲁棒性，本发明解决了在执行搜索任务时每个智能体状态不断改变引起的环境不稳定、搜索时间长且执行效率低下的问题。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种移动多智能体协同目标搜索方法，包括以下步骤：

步骤1)给定目标操作域O并将其均匀地划分成相同大小的m×n个栅格区域，每一块栅格的坐标使用其所在区域的中心坐标来表示，设置N个智能体在这m×n个栅格中开始进行搜索，目标数量为S；

步骤2)获取随机的噪声函数Ψ，用θ＝{θ₁，...,θ_N}表示N个智能体策略的参数，且令所有智能体的策略集合为π＝{π₁,...，π_N}，动作集合为a＝(a₁，...，a_N)，环境状态向量集合为s＝(s₁，...，s_N)；则根据各个智能体的Actor网络的输出，有a_i＝π_i(s_i，θ_i)；