[发明专利]一种多智能体编队的控制方法和系统

说明书

本发明公开了一种多智能体编队的控制方法和系统，在获取多智能体中各个智能体的历史状态数据和历史动作数据，并通过DDPG算法构建能较好的跟环境交互，具有自学习功能，适应不确定系统的动态特性的编队优化模型，利用编队优化模型中获得对各个智能体的最优控制力，并根据所述各个智能体的最优控制力实现对所述多智能体的优化编队，相比起现有技术而言，本发明中的多智能体编队的控制方法能适应多智能体编队环境复杂多变的特性，在不同的实际场景下实现更精确编队。

技术领域

本发明属于智能体编队控制领域，尤其涉及一种多智能体编队的控制方法和系统。

背景技术

多智能体控制是人们效仿自然界中群体现象而提出的问题。例如生物界昆虫、鸟和鱼群等协作捕食。共同抵御入侵者等行为，都显示出某种群体特质。随着嵌入式计算和通信能力的提高，以及分布式思想的发展，人们开始意识到多智能体系统的合作能够以更小的代价完成更复杂的任务。相比于单个智能体，多智能体系统，尤其是分布式多智能体系统，具有很多明显的优点。

编队控制是当前多智能体系统研究的热点问题，它指多个智能体组成的团队在向某个特定的目标运动的过程中，既要保持预定的几何队形，同时又要避开障碍。一般而言，编队控制借助智能体的局部邻居智能体信息实现多智能体系统的群体行为，从而解决全局性的任务。编队控制在军事、航天、工业等各个领域具有广阔的应用前景。在众多的实际应用场景中，比如卫星导航、机器人控制、搜索救援，多智能体的编队和跟踪控制是实现典型任务的必要技术。

传统的多智能体编队控制方法需要精确的环境模型，但由于环境的模型未知性、不精确性、非线性、复杂性，时变性等特征，造成现有的多智能体编队控制方法并不能对多智能体进行精确编队，从而导致智能体邻居数量改变造成的状态维度改变。

因此，亟需一种新的多智能体编队控制方法来解决现有的多智能体不能进行精确编队的技术问题。

发明内容

本发明提供了一种多智能体编队的控制方法和系统，获取多智能体中各个智能体的历史状态数据和历史动作数据，并通过DDPG(Deep Deterministic Policy Gradient，深度确定性策略梯度)算法构建编队优化模型，从而解决现有的多智能体不能进行精确编队的技术问题。

为解决上述技术问题，本发明提出的技术方案为：

一种多智能体编队的控制方法，包括以下步骤，

获取多智能体中各个智能体的历史状态数据和历史动作数据；

通过所述历史状态数据和历史动作数据通过DDPG算法构建以各个智能体的状态数据为输入量，以各个智能体的最优动作数据为输出量的编队优化模型；

获取待编队的多智能体的实时状态数据，并输入所述编队优化模型中求解获得各个智能体的最优动作数据；

根据所述各个智能体的最优动作数据对所述多智能体进行优化编队。

优选的，所述状态数据包括各个智能体的目标点和测量点的位置偏差数据及速度偏差数据；

所述动作数据包括对各个智能体的控制力数据，其中所述控制力数据包括导航控制力数据和编队控制力数据；

优选的，所述控制力数据计算公式如下：

其中，k_α，k_γ分别为编队控制力参数和导航控制力参数，且k_γ＜＜k_α、是编队控制力、是导航控制力。

优选的，所述目标点包括导航目标点和编队目标点，获取所述目标点和测量点之间的位置偏差数据和速度偏差数据，包括，