[发明专利]一种基于多智能体强化学习的多机空战决策方法

说明书

本发明公开了一种基于多智能体强化学习的多机空战决策方法，首先建立无人机的六自由度模型、导弹模型、神经网络归一化模型、战场环境模型、态势判断和目标分配模型；然后采用MAPPO算法作为多智能体强化学习算法，在具体空战环境的基础上设计相应的回报函数；最后将构建的无人机模型和多智能体强化学习算法进行结合，生成最终的基于多智能体强化学习的多机协同空战决策方法。本发明方法有效解决了传统的多智能体协同空战计算量大，难以应对需要实时结算瞬息万变的战场态势的问题。

技术领域

本发明属于无人机技术领域，具体涉及一种多机空战决策方法。

背景技术

无人飞行战斗机决策的目的是使其能够在战斗中占据优势取胜或者转劣势为优势，研究的关键就是设计出高效的自主决策机制。无人飞行战斗机的自主决策是关于如何在空战中根据实战环境实时制定战术计划或选择飞行动作的机制，该决策机制的优劣程度反映了无人飞行战斗机在现代化空战中的智能化水平。自主决策机制的输入是与空战有关的各种参数，如飞行器的飞行参数，武器参数和三维空间场景参数以及敌我双方的相对关系，决策过程是系统内部的信息处理和计算决策过程，输出是决策制定的战术计划或某些特定的飞行动作。

目前，研究空战战术决策方法基本可以分为两类，第一类为传统基于规则的非学习策略主要包括微分对策法，专家系统，影响图法和矩阵博弈算法等，它们的决策策略一般是固定的，无法完整地覆盖复杂且瞬时变化的多机空战的问题，第二类是基于智能算法的自我学习策略主要包括人工免疫系统，遗传算法，迁移学习，近似动态规划算法和强化学习等，通过自身的经验来优化自身决策模型的结构和参数。自我学习的策略自适应性强，能够应对势态复杂多变的空战战场环境。

随着空战技术的发展，现代化无人机空战已经不拘泥于以前一架飞机对一架飞机的作战环境，编队协同意味着多对多的无人机攻击模式，无人机之间的相互掩护，协同攻击也成为多机空战决策的重要组成部分。

多智能体多机战术决策的难点，主要体现在(1)多异构智能体合作。(2)实时对抗及动作持续性。(3)非完整信息博弈和强不确定性。(4)巨大的搜索空间及多复杂任务。随着以深度强化学习为核心的人工智能技术的突破和发展，为指挥信息系统的智能化开拓了新的技术途径，也为复杂的多智能体多机空决策带来了新的解决方法。

发明内容

为了克服现有技术的不足，本发明提供了一种基于多智能体强化学习的多机空战决策方法，首先建立无人机的六自由度模型、导弹模型、神经网络归一化模型、战场环境模型、态势判断和目标分配模型；然后采用MAPPO算法作为多智能体强化学习算法，在具体空战环境的基础上设计相应的回报函数；最后将构建的无人机模型和多智能体强化学习算法进行结合，生成最终的基于多智能体强化学习的多机协同空战决策方法。本发明方法有效解决了传统的多智能体协同空战计算量大，难以应对需要实时结算瞬息万变的战场态势的问题。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：假定对战双方无人机为我方和敌方，我方无人机为红机，敌方无人机为蓝机；建立无人机的六自由度模型、导弹模型、神经网络归一化模型、战场环境模型、态势判断和目标分配模型；

步骤2：采用MAPPO算法作为多智能体强化学习算法，在具体空战环境的基础上设计相应的回报函数；

步骤3：将步骤1构建的无人机模型和步骤2中的多智能体强化学习算法进行结合，生成最终的基于多智能体强化学习的多机协同空战决策方法。

进一步地，所述步骤1中，建立无人机的飞机模型、导弹模型、神经网络归一化模型、战场环境模型、态势判断和目标分配模型，具体步骤如下：

步骤1-1：建立无人机的飞机模型；