[发明专利]无人机集群智能系统控制方法

说明书

本发明提供一种无人机集群智能系统控制方法，包括以下步骤：获取多智能体体系结构，所述多智能体体系结构中每个智能体均设有对应的目标、感知方法、动作集；所述多智能体体系结构中每个智能体与环境交互，进行集群智能体学习；所述多智能体体系结构中每个智能体通过动作协调完成系统目标。该方法能够实现无人机自主集群以低成本、高分散的组织形式满足功能需求。

技术领域

本发明涉及通信技术领域，特别涉及一种无人机集群智能系统控制方法。

背景技术

现今无人机技术正大力发展，单架无人机系统集成度越来越高，功能也愈发强大，然而对单架无人机而言，由于燃料、重量等限制，无法形成持续工作，也无法对任务区域进行大范围覆盖。基于此，提出无人机集群技术，无人机应以集群方式协同工作。

无人机自主集群系统具有“平台简单、高度协调、完全自主、群体智能”等特点，其势必将引发新一代行业工作模式的颠覆性变革，不仅在渗透侦察、诱骗干扰、察打一体、协同攻击等国防科技领域大显身手，而且也将在智能交通、地质勘测、灾害监测、农业植保、物流运输等国民经济发展中有着广阔的发展前景。而如何建立无人机集群这一整体动态特性和物理约束的模型，如何面向更加复杂的任务环境将人工智能与无人机集群自主控制紧密结合，如何将有人与无人机、无人车、无人船等跨域融合，实现全自主群集系统广泛应用，还需要进一步研究和深入探索。

发明内容

有鉴于此，本发明的目的之一在于提供涉一种无人机集群智能系统控制方法，该方法能提升无人机集群智能系统信息共享、抗故障与自愈能力。

为实现上述目的，本发明的技术方案为：

一种无人机集群智能系统控制方法，包括以下步骤：

获取多智能体体系结构，所述多智能体体系结构中每个智能体均设有对应的目标、感知方法、动作集；

所述多智能体体系结构中每个智能体与环境交互，进行集群智能体学习；

所述多智能体体系结构中每个智能体通过动作协调完成系统目标。

进一步地，所述多智能体体系结构中每个智能体与环境交互具体包括：

S11：各智能体对环境进行观测，获取观测数据；

S12：根据观测数据做动作；

S13：改变环境状态，获取奖励；

S14：重复步骤S11-S13。

进一步地，所述进行集群智能体学习的步骤具体包括：

S21：初始化多智能体体系结构中的网络参数，并求得目标任务最优解网络参数；

S22：利用价值分解，智能体将行动价值分解为子任务；

S23：所有子任务通过纳什均衡，获得子任务团队目标；

S24：子任务通过以下模型学习，获取最大化的子任务团队目标：

其中，Q为目标函数，a_i为第i个智能体的动作信号，为除i之外的其他智能体的动作信号，E_P为环境影响函数，S_t、S_t+1为马尔科夫决策过程，a_j为第j个智能体的动作信号，r为反馈给智能体一个回报信号，j、i为不同的智能体，分别采用的下标，t为状态时刻，θ为初始化的网络参数；

S25：更新网络参数，最大化的子任务获取所有子任务最大团队奖励，其他子任务重复步骤S22-S25；

S26：重复步骤S21-S25进行网络迭代，直到多智能体体系结构收敛到最优状态。