[发明专利]基于多智能体强化学习的多无人机协同空战机动决策方法

说明书

本发明公开了一种基于多智能体强化学习的多无人机协同空战机动决策方法，解决了仿真多对多空战中多无人机协同空战中的机动动作的自主决策问题。本方法包含：无人机平台的运动模型创建；基于攻击区和距离、角度因素的多机空战态势评估，分析多机空战机动决策的状态空间、行动空间和奖励值；设计了协同空战中的目标分配方法和策略协调机制，通过奖励值的分配，定义了各个无人机在目标分配、态势优势和安全避碰的行为反馈，经过训练后实现策略协同。本发明可有效提高多无人机进行协同空战机动自主决策的能力，具有更强的协同性和自主寻优性，在不断的仿真和学习中无人机编队所做的决策水平不断提高。

技术领域

本发明属于无人机技术领域，具体涉及多无人机协同空战机动决策方法。

背景技术

目前，无人机已经能够完成侦察、监视和对地攻击等任务，在现代战争中发挥着越来越难以替代的作用。但是由于智能化水平的限制，目前无人机尚无法进行自主空战机动决策，尤其是多架无人机的自主协同空战。因此，提升无人机的智能化水平，让无人机能够根据态势环境而自动产生控制指令完成空战中的机动动作是当前主要的研究方向。

让无人机完成空战机动自主决策，其实质是完成从空战态势到机动动作的映射，在不同态势下执行相应的机动动作。由于空战的态势较之于其他任务更加复杂，靠人工预编程的方法难以全面地覆盖空战任务的态势空间，更难以计算产生最优的机动动作决策。

目前对无人机空战机动决策研究都是针对1v1单机对抗场景下所开展的，而现实空战中，基本都是多架无人机组成编队协同作战。多机协同空战涉及空战态势评估、多目标分配、机动决策三个方面，协同空战是这三个部分的紧密联系的耦合过程，相对于单机对抗的机动决策，多机协同空战除了兵力数量规模扩大之外，还需要考虑战术配合，问题更加复杂。

对多机协同空战决策研究可以分为集中式和分布式，集中式的方法是由一个中心计算编队内所有无人机的行动，这类模型较为复杂，存在计算难度大、实时性不足的问题。分布式方法的思路是在目标分配的基础上由编队内的各个无人机自行计算各自的机动动作，从而降低模型的复杂度，通过目标分配来实现编队任务的协同。现有的分布式协同空战决策方法多采用先进行目标分配，再根据目标分配的结果将多对多空战转化为一对一的情况，这种方法无法很好地发挥多目标攻击能力和编队作战的战术协同，无法达到1+12的效果。

发明内容

为了克服现有技术的不足，本发明提供了一种基于多智能体强化学习的多无人机协同空战机动决策方法，解决了仿真多对多空战中多无人机协同空战中的机动动作的自主决策问题。本方法包含：无人机平台的运动模型创建；基于攻击区和距离、角度因素的多机空战态势评估，分析多机空战机动决策的状态空间、行动空间和奖励值；设计了协同空战中的目标分配方法和策略协调机制，通过奖励值的分配，定义了各个无人机在目标分配、态势优势和安全避碰的行为反馈，经过训练后实现策略协同。本发明可有效提高多无人机进行协同空战机动自主决策的能力，具有更强的协同性和自主寻优性，在不断的仿真和学习中无人机编队所做的决策水平不断提高。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：建立多机空战环境模型，定义在多机协同空战过程中每架无人机进行机动决策的状态空间、行动空间和奖励值；

步骤1-1：在地面坐标系中，ox轴取正东方，oy轴取正北方，oz轴取铅垂方向；在地面坐标系中无人机的运动模型如式(1)所示：

在地面坐标系中，无人机的动力学模型如式(2)所示：