[发明专利]一种基于图神经网络的强化学习集群蜂拥控制方法

权利要求书

1.一种基于图神经网络的强化学习集群蜂拥控制方法，其特征在于，包括以下步骤：

步骤S1、建立集群蜂拥控制模型，集群在经过有限次的蜂拥控制后应逐渐形成稳定的拓扑结构并保持速度一致，稳定后系统误差应趋于0；

步骤S2、整个集群系统视作一个无向图G，无向图G的邻接矩阵为A，为无向图G的邻接矩阵A引入蜂拥控制误差，得到加权邻接矩阵基于加权邻接矩阵利用顺序连接的两层图卷积神经网络(GCN)提取集群系统的拓扑结构特征，得到最终的集群拓扑结构特征表示H_A′；

步骤S3、确定智能体的观测信息特征表示方法，构建全局与局部观测信息矩阵X_sg及X_oi，利用顺序连接的两层图卷积神经网络分别对全局与局部观测信息矩阵X_sg及X_oi进行特征提取，得到全局观测信息矩阵X_sg的特征表示H_sg′和局部观测信息矩阵的特征表示H_oi′；

步骤S4、设计状态空间：基于所述步骤S2中的加权邻接矩阵计算方法以及所述步骤S3中的全局与局部观测信息矩阵X_sg及X_oi，分别定义全局观测状态s与agent i的局部观测状态o_i；

设计动作空间：选择连续空间作为智能体的动作空间，确定agent i的速度更新方法；

设计回报函数：以智能体间的速度一致与运动过程中避免碰撞为准则；

步骤S5、以所述步骤S3中的图卷积神经网络结构为基础，将所述步骤S4中的全局观测状态s和局部观测状态o_i作为网络输入，分别设计深度强化学习算法中的策略网络与评价网络模型；

步骤S6、基于所述步骤S5中的策略网络与评价网络模型，设计强化学习集群蜂拥控制算法框架，并给出策略网络与评价网络的参数更新方法；

步骤S7、设计集群蜂拥控制算法的训练流程，基于智能体不断与环境交互产生的经验信息，利用所述步骤S6中的参数更新方法学习网络参数，训练完成后得到可用于集群蜂拥控制的智能体策略网络。

2.根据权利要求1所述的一种基于图神经网络的强化学习集群蜂拥控制方法，其特征在于：所述步骤S1包括：

建立集群蜂拥控制模型，集群系统由N个智能体构成，其中第i个智能体定义为agenti，智能体在二维平面内运动且满足如下粒子运动模型：

其中，p_i，v_i及u_i∈R²分别为agent i的位置、速度，加速度控制量，分别表示p_i，v_i相对时间的导数；

在距离小于通信距离r_c的智能体间存在通信连接，根据连接关系定义agent i的邻居集合：

N_i＝{j∈V：||p_j-p_i||≤r_c，j≠i}

其中，V为所有智能体的集合，||·||为欧几里得范数，邻居智能体间可以通过通信交换位置、速度等信息；

指定集群中某个agent为领导者，记为leader，其余的N-1个agent为跟随者，记为follower，蜂拥控制模型可表述为：follower跟随leader运动且在运动过程中避免碰撞，最终整个集群达成速度一致并形成稳定的拓扑结构；

蜂拥控制系统在时刻k的误差定义如下：

e(k)＝e_lf(k)+e_ff(k)

其中，e_lf(k)为follower与leader之间相对距离和速度的误差，定义如下：

其中，为leader与follower之间的期望距离，和分别为follower i的位置与速度，p₀和v₀分别为leader的位置与速度，φl(·)为具有全局最小值0的凸函数且φ_l(0)＝0；

e_ff(k)为follower之间相对距离和速度的误差，定义如下：

其中，为follower之间的期望距离，N_i为agent i的邻居智能体集合，φ_f(·)为具有全局最小值0的凸函数且φ_f(0)＝0；

集群在经过有限次的蜂拥控制后应逐渐形成稳定的拓扑结构并保持速度一致，稳定后系统误差应趋于0：

lim_k→∞e(k)＝0。