[发明专利]基于改进Q函数的多智能体一致性强化学习方法及系统

权利要求书

1.一种基于改进Q函数的多智能体一致性强化学习方法，其特征在于：包括以下步骤：

步骤1、建立线性离散时间异构多智能体系统的动态模型；

步骤2、设定异构多智能体系统的领导跟随一致性误差方程，并引入可靠性因子ρ折中非策略Q-学习和策略Q-学习两种学习模式，设计基于改进Q函数的分布式控制协议；

步骤3、采用Critic神经网络通过系统动态模型产生的数据自学习最优控制协议，根据最优控制协议对异构多智能体系统进行一致性控制。

2.根据权利要求1所述的一种基于改进Q函数的多智能体一致性强化学习方法，其特征在于：所述步骤1为：

考虑具有N个跟随者和一个领导者的线性离散时间异构多智能体系统，跟随者i的动力学模型为：

x_i(k+1)＝A_ix_i(k)+B_iu_i(k) (1)

其中，x_i(k)和u_i(k)分别表示第i个跟随者k(k＝1,2,...)时刻的状态和控制输入，A_i和B_i分别表示第i个跟随者的系统矩阵和控制矩阵；

领导者的动力学模型(即异构多智能体系统中参考轨迹)为：

x₀(k+1)＝A₀x₀(k) (2)

其中，x₀(k)代表领导者k(k＝1,2,...)时刻的状态，A₀表示领导者的系统矩阵。

3.根据权利要求1所述的一种基于改进Q函数的多智能体一致性强化学习方法，其特征在于：步骤2所述设定异构多智能体系统的领导跟随一致性误差方程为：

定义第i个跟随者的局部邻居同步误差为：

其中，δ_i(k)表示第i个跟随者的局部邻居同步误差，a_ib表示跟随者i与跟随者b之间的权重，x_b(k)表示第b个跟随者k(k＝1,2,...)时刻的状态，g_i(g_i≥0)表示第i个跟随者与领导者的固定增益，N_i表示系统拓扑图中跟随者i的邻居节点个数，表示系统拓扑图中跟随者b到跟随者i的所有拓扑关系的总和；

定义异构多智能体系统的全局同步误差为：

ξ(k)＝x(k)-x₀(k) (4)

其中，ξ(k)表示异构多智能体系统的全局同步误差，x(k)表示k时刻N个跟随者的全局状态，T表示向量转置，x₀(k)表示k时刻每一个跟随者对应的领导者的全局状态，

全局同步误差ξ(k)与全局邻居同步误差δ(k)之间存在如下关系为：

其中，L表示系统拓扑图的拉普拉斯矩阵，I_n表示一个n维的单位矩阵，g＝diag{g_i}∈R^N×N表示一个固定增益的对角矩阵，表示克罗内克积。

对于其中任意一个跟随者i，定义其性能指标为：

其中，

其中，J_i表示跟随者i的性能指标，u_ik表示第i个跟随者k时刻的控制协议，u_-ik＝{u_b|b∈N_i}表示第i个跟随者的邻居k时刻的控制协议，u_b表示第b个跟随者的控制协议，表示跟随者i对应的所有时刻总和，U_i表示第i个跟随者的效应函数，δ_ik表示第i个跟随者k时刻的局部邻居同步误差，Q_ii≥0,R_ii＞0,R_ib＞0表示具有合适维数的对称矩阵，u_bk表示第b个跟随者k时刻的控制协议。