[发明专利]一种基于图神经网络的强化学习集群蜂拥控制方法

说明书

本发明公开了一种基于图神经网络的强化学习集群蜂拥控制方法，包括以下步骤：建立集群蜂拥控制模型；确定集群的拓扑结构特征表示方法；确定智能体的观测信息特征表示方法；设计状态空间、行为空间与回报函数；设计深度强化学习算法中的策略网络与评价网络模型；设计算法框架及网络参数更新方法；设计集群蜂拥控制算法的训练流程。本发明借助深度强化学习技术实现集群蜂拥控制算法，利用图神经网络提取集群的拓扑结构特征以及观测信息特征，有效提高集群蜂拥控制算法的收敛速度和对动态环境的适应能力，同时能够保证在控制噪声等干扰下算法的稳定性。

技术领域

本发明专利属于多智能体集群和强化学习领域，是一种基于图神经网络的深度强化学习集群蜂拥控制方法，涉及到集群拓扑结构特征提取和强化学习中状态与动作空间构造、回报函数与训练流程设计等一系列方法。

背景技术

集群蜂拥控制具有很重要的应用和科研价值，例如对无人机、无人车集群的自适应控制等。目前的蜂拥控制方法缺乏对系统拓扑结构信息的有效利用，且在方法设计中未考虑到智能体间的等价性，系统拓扑结构的动态变化和控制系统中的随机噪声干扰极大地削弱了控制算法的性能，因此提高蜂拥控制算法的效率，在最短的时间内实现拓扑结构收敛与速度一致，是多智能体集群蜂拥控制的一个重要研究方向。

图神经网络是一类基于图结构的深度学习方法，可以根据图数据之间的邻接关系提取结构特征并对图数据间的依赖关系进行建模。图卷积神经网络首次将卷积操作应用于图数据，有效弥补了传统卷积神经网络无法处理非欧数据的不足。目前，图神经网络已经在社交网络、知识图谱、自然语言处理等领域中对于非欧数据的回归、预测和分类等任务中得到了广泛的应用。

强化学习是一种通过试错学习机制进行决策优化的机器学习方法，具有不依赖于任何先验知识和外部环境模型的优点。深度强化学习利用深度神经网络替代传统的动作价值函数，极大地提高了强化学习算法的特征表示和决策能力，在机器人等控制领域得到了广泛的研究和应用。在复杂环境的集群蜂拥控制过程中，多智能体可以利用深度神经网络学习状态和行为的特征，在深度强化学习算法训练完成后，可得到最佳的多智能体集群蜂拥控制策略。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于图神经网络的深度强化学习集群蜂拥控制方法，实现快速且稳定的集群蜂拥控制，有效提高集群收敛速度和对动态环境的适应能力，同时能够保证在控制噪声等干扰下算法的稳定性。

本发明的目的是通过以下技术方案来实现的：

一种基于图神经网络的强化学习集群蜂拥控制方法，包括以下步骤：

步骤S1、建立集群蜂拥控制模型，集群在经过有限次的蜂拥控制后应逐渐形成稳定的拓扑结构并保持速度一致，稳定后系统误差应趋于0；

步骤S2、整个集群系统视作一个无向图G，无向图G的邻接矩阵为A，为无向图G的邻接矩阵A引入蜂拥控制误差，得到加权邻接矩阵基于加权邻接矩阵利用顺序连接的两层图卷积神经网络(GCN)提取集群系统的拓扑结构特征，得到最终的集群拓扑结构特征表示H_A′；

步骤S3、确定智能体的观测信息特征表示方法，构建全局与局部观测信息矩阵X_sg及X_oi，利用顺序连接的两层图卷积神经网络分别对全局与局部观测信息矩阵X_sg及X_oi进行特征提取，得到全局观测信息矩阵X_sg的特征表示H_sg′和局部观测信息矩阵的特征表示H_oi′；

步骤S4、设计状态空间：基于所述步骤S2中的加权邻接矩阵计算方法以及所述步骤S3中的全局与局部观测信息矩阵X_sg及X_oi，分别定义全局观测状态s与agent i的局部观测状态o_i；

设计动作空间：选择连续空间作为智能体的动作空间，确定agent i的速度更新方法；