[发明专利]一种执行器饱和多智能体系统最优一致性控制方法和装置

说明书

本发明提供一种执行器饱和多智能体系统最优一致性控制方法和装置，方案通过构建受执行器饱和限制的多智能体系统；设计每个智能体系统的目标函数；构建最优目标函数和最优一致性控制输入满足的HJB方程；利用基于数据的离策略强化学习算法，结合基于神经网络的值函数逼近方法估计最优目标函数和最优一致性控制输入；用加载有估计所得的最优一致性控制输入的控制器实现多智能体系统最优一致性控制。本方案考虑了实际工程应用中广泛存在的执行器饱和现象，以及实际系统的精确的动力学模型通常难以获取的难题，通过充分利用系统的输入输出信息设计控制器，能够在有执行器饱和限制的情况下实现最优一致性控制。

技术领域

本发明涉及多智能体协同控制领域技术领域，具体涉及一种基于强化学习的执行器饱和多智能体系统最优一致性控制方法和装置。

背景技术

多智能体系统相较于单智能体系统具有较强的鲁棒性和容错能力，并且能够完成某些单个智能体难以完成的复杂任务。受自然界生物群体行为的启发，目前对多智能体系统的研究主要集中在实现分布式协同控制，其控制目标主要包括：一致性、聚集、编队等。其中，一致性问题是多智能体系统分布式协同控制研究中的一类基本问题。该问题主要关注如何利用局部信息设计分布式协同控制器，使系统的某一变量，如速度、位置、相位等，达到一致。当考虑个体具有自私属性，即，个体在实现一致的过程中优化自身性能指标(比如最小化能量消耗、最大化收益)，最优一致性问题由此产生。

随着网络技术的迅猛发展，控制系统向着网络化、智能化和综合化的方向发展，多智能体系统一致性理论在工程领域的应用越来越广泛。其中，典型的应用包括水下自动机器人系统、无人机系统、无线传感器网络等。然而，由于实际场景中存在许多限制，比如电机的力矩及转速是有限的，阀门开关的速度及大小不能任意大等，许多理论研究中所提出的一致性算法在实际工程应用中实现取得理想的效果。因此，对于执行器饱和的多智能体系统一致性控制的研究因具有实际应用意义吸引了越来越多研究学者的关注。而如何设计分布式控制器在执行器饱和限制下实现最优一致性是一个仍未被解决的问题。

发明内容

有鉴于此，本发明实施例提供一种执行器饱和多智能体系统最优一致性控制方法和装置，以实现执行器饱和限制下实现最优一致性。

为实现上述目的，本发明实施例提供如下技术方案：

一种执行器饱和多智能体系统最优一致性控制方法，应用于多智能体的控制系统中，方法包括：

构建受执行器饱和限制的多智能体系统；

设计多智能体系统中每个智能体的目标函数；

构建最优目标函数和最优一致性控制输入满足的HJB方程：

其中，δ_i表示第i个智能体的局部同步误差，Q为正定矩阵，为最优目标函数，为最优一致性控制输入，其中，表示对δ_i的偏导数，为非二次输入能量成本，A，B为系统矩阵d_i为第i个智能体的入度，e_ij为第i个和第j个智能体间通信边的权重，N_i为第i个智能体的邻居节点的集合；

利用基于数据的离策略强化学习算法，结合基于神经网络的值函数逼近方法估计所述HJB方程中的最优目标函数和最优一致性控制输入；

基于估计得到的最优一致性控制输入对多智能体系统进行控制。

可选的，上述执行器饱和多智能体系统最优一致性控制方法中，所述构建受执行器饱和限制的多智能体系统的数学模型包括：