[发明专利]一种基于课程学习的无人机空中博弈对抗的解决方法

说明书

本发明公开一种基于课程学习的无人机空中博弈对抗的解决方法，包含以下步骤：(1)构建仿真模拟环境；(2)收集飞行员控制飞机的真实轨迹数据，将轨迹数据按照机动动作难度进行课程目标分类；(3)对指定课程目标下的轨迹，通过模仿学习来优化策略模型生成的轨迹和专家轨迹的相似度；(4)获得预训练无人机策略模型；(5)基于预训练无人机策略模型，在模拟器中创建敌我双方无人机智能体；(6)无人机在模拟器中获得当前时刻的观测；(7)无人机与模拟环境进行交互，将我方与敌方无人机对抗的任务建模为一个强化学习智能体与环境交互的问题，用强化学习算法优化无人机对抗的飞行策略；(8)获得无人机进行空中博弈对抗的有效策略。

技术领域

本发明涉及一种基于课程学习的无人机空中博弈对抗的解决方法，属于无人机飞行控制技术领域。本发明适用于无人机连续飞行对抗若干敌方无人机的情景，在难度系数较高、环境未知、复杂且具有不确定因素的任务中，能够取得令人较满意的成绩。

背景技术

随着科技进步及无人机控制技术水平的提升，无人机在军事领域越发重要，广泛应用于军事侦查、空中对抗等领域。其中无人机在执行空中对抗的过程中，由于所面临环境的复杂性，以及战场态势的瞬息变化等情形，都对无人机的控制过程带来了巨大的挑战。传统无人机控制过程中一般通过预设好的专家规则进行飞行控制，主要利用激光雷达、摄像头、声呐等传感器实现无人机对环境的感知，从而实现无人机的控制与机动。然而，此类方法却无法穷尽现实中的所有情况。由于空战的态势较之于其他任务更加复杂，在对手发生改变、或者环境变化比较大的情形下，往往泛化能力不强，靠人工预编程的方法难以全面地覆盖空战任务的态势空间，更难以计算产生最优的动作决策。

近年来强化学习技术取得了较大进步，尤其是AlphaGo的出现，引起人们对这一领域极大的关注。强化学习是一种采用“试错”的方法与环境交互的学习方法，可以通过马尔科夫决策过程来描述，通过计算当前状态下执行动作后的累计回报期望值的大小来判断动作选择的合理性。因此，通过强化学习产生的“状态-动作”映射考虑了动作的长期影响，能够获得很好的长期收益，而且Agent与环境交互的学习过程不需要训练样本，仅仅需要环境的回报值对执行的动作进行评价，因此通过建立无人机空中博弈对抗的强化学习模型，让代表无人机的Agent不断在仿真环境中探索和学习，就能为无人机提供一系列最优的机动决策。

此外，直接利用强化学习的方法训练智能体处理复杂高难度任务的场景，直接学习的难度过大，获得的完成奖励比较稀疏，智能体将无法学到有效的策略。

发明内容

发明目的：为了解决基于传统专家规则的无人机空中博弈方案泛化能力差的缺点，本发明提供一种基于课程学习的无人机空中博弈对抗的解决方法。本发明使用的课程学习方法，让Agent循序渐进完成学习的方法。对于一个十分复杂且困难的问题，如果让Agent直接学习很难取得很好的效果。于是我们需要简化问题的难度，先给出一些相对简单的问题，等Agent逐渐适应了这样的难度后，再提出一些更难的问题。通过这样的方法，模型就能够更快地适应并取得更好的效果。

技术方案：一种基于课程学习的无人机空中博弈对抗的解决方法，通过在动力学仿真环境模拟器中从零探索各种可能的无人机空中博弈对抗的飞行策略。首先通过课程学习学得一个具备初始操控能力的预训练无人机策略模型，再在模拟器中基于预训练模型创建敌我双方无人机智能体进行对抗训练。与传统的基于专家规则的无人机飞行控制方法相比，本方法具有泛化性好，低成本，鲁棒性强等特性。具体包括如下步骤：

(1)构建基于空气动力学的仿真环境模拟器，用来模拟无人机的飞行状况，其可视化部分基于DCS模拟器实现，该仿真环境模拟器用来进行无人机飞行策略的学习。通过控制模拟器的参数，模拟无人机在真实环境中的飞行状态变化。

(2)收集飞行员控制飞机的真实轨迹数据作为专家轨迹，将轨迹数据按照机动动作难度进行课程目标分类；

(3)对指定课程目标下的轨迹，通过模仿学习来优化策略模型生成的轨迹和专家轨迹的相似度，从而完成该课程目标的学习；