[发明专利]多无人机协同对抗决策的强化学习方法

说明书

本发明提供一种多无人机协同对抗决策的强化学习方法，涉及无人机领域，包括：获取无人机初始状态数据并进行格式转换；对无人机初始状态数据进行数据补全处理；对数据补全后的无人机初始状态数据进行数据转换和归一化处理，得到无人机状态数据；基于预设的Actor‑Critic算法对无人机状态数据进行处理，得到当前回合的多无人机协同对抗重决策结果；将多无人机协同对抗重决策结果输入到预设的仿真场景中，多无人机基于多无人机协同对抗重决策结果进行对抗，得到多无人机协同对抗数据，并将多无人机协同对抗数据作为下一回合的无人机初始状态数据，以得到下一回合的多无人机协同对抗重决策结果。本发明可以得到最适应当前环境下的无人机重决策方案。

技术领域

本发明涉及无人机技术领域，具体涉及一种多无人机协同对抗决策的强化学习方法。

背景技术

随着新兴技术的发展与应用，信息对抗、智能对抗已逐渐成为新的作战手段和作战形式，无人机由于其能够自主的完成多种任务而被广泛地应用。然而随着无人机在相关领域应用的不断推进，单架无人机在执行任务时暴露出了灵活性和任务完成率的短板，因此，运用多架无人机在空中构成相互协作、优势互补、效能倍增的协同作战系统，已成为本领域关注的热点和追求的目标。

多无人机协同对抗环境中，对抗情况瞬息万变，呈现高动态、高实时和高不确定性的特点，并且多机协同对抗整体过程时间较长，无法对敌方的行动作出详细预测，作战前的战术决策和目标分配等决策都可能随着对抗过程中的进行而不再适用当前环境，因此，决策者需要根据复杂、动态变化的战场环境对多无人机作战策略进行重决策。

现有的重决策方法普遍使用神经网络、模糊Petri网和影像图等方法进行，然而，由于多无人机协同对抗环境的变化较为迅速，这些方法已经不能适用当前环境，即现有技术提供的重决策方法的效果较差。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种多无人机协同对抗决策的强化学习方法，解决了现有技术提供的重决策方法的效果较差的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

本发明解决其技术问题所提供的一种多无人机协同对抗决策的强化学习方法，所述强化学习方法由计算机执行，包括以下步骤：

获取无人机初始状态数据，并对所述无人机初始状态数据进行格式转换，得到预设格式的无人机初始状态数据；

对预设格式的无人机初始状态数据进行数据补全处理；对数据补全后的无人机初始状态数据进行数据转换和归一化处理，得到无人机状态数据；

基于预设的Actor-Critic算法对所述无人机状态数据进行处理，得到当前回合的多无人机协同对抗重决策结果；

将所述多无人机协同对抗重决策结果输入到预设的仿真场景中，多无人机基于所述多无人机协同对抗重决策结果进行对抗，得到多无人机协同对抗数据，并将所述多无人机协同对抗数据作为下一回合的无人机初始状态数据，以得到下一回合的多无人机协同对抗重决策结果。

优选的，所述无人机初始状态数据包括：无人机横坐标、无人机纵坐标、无人机飞行高度、无人机飞行速度、无人机横滚角、无人机航向角、无人机俯仰角、无人机余弹数量和无人机类型。

优选的，对所述无人机初始状态数据进行格式转换，包括：

将Json格式的无人机初始状态数据转换为字符串的数据。

优选的，还包括：

获取所述预设的仿真场景反馈的信息，包括：多无人机协同对抗数据和结束指令；