[发明专利]一种基于强化学习和注意力机制的无人机群调度方法

说明书

本发明提供了一种基于强化学习和注意力机制的无人机群调度方法，包括：步骤1，设置作为编码器的Transformer的各个超参数，获取仿真器的状态；步骤2，将状态做特征预处理之后送入Transformer编码器；步骤3，将Transformer编码器的编码输出作为指针网络解码器的输入，通过解码选出当前状态下最应该关注的单位；步骤4，神经网络的多头输出结果构造仿真平台能接受的指令，将其输入仿真平台驱动其前进。本发明通过组合注意力机制和强化学习实现了不同状态下对于无人机群中不同单位的关注，通过神经网络的多头输出实现了对于动作空间的良好分解，这一设计对于无人机群的扩容不敏感。

技术领域

本发明涉及一种基于强化学习和注意力机制的无人机群调度方法。

背景技术

近年来，随着人工智能技术的迅猛发展，无人机逐步朝着小型化、智能化方向发展,因其成本低、灵活性高、隐蔽性强,被广泛应用于战场侦察、应急救援等行动中。鉴于单架无人机在续航能力、广域侦察搜索等方面的局限性，多架无人机协同组成无人机集群执行任务成为当前无人机作战应用的重要模式。较之于单架无人机，无人机集群具有明显的规模优势、协同优势等，可有效提高任务完成的可靠性。因此，提升无人机的智能化水平，让无人机能够根据环境状态而自动产生控制指令完成任务中的群体机动是当前主要的研究方向。

让无人机完成指定任务中的机动自主决策，其实质是完成从空战态势到群体动作的映射，在不同状态下执行相应的群体动作。由于无人机群在调度时面临的状态十分复杂，靠人工预编程的方法难以全面覆盖广阔的状态空间，同时也无法计算产生最优的动作决策。

强化学习是一种采用“试错”的方法与环境交互的学习方法，通过计算当前状态下执行某个动作后的累计回报的期望值大小来判断选择哪个动作能获得最优效果。而且强化学习智能体与环境交互的学习过程不需要训练样本，仅仅需要通过环境的回报值对执行的动作进行评价。将具体实际问题完成在强化学习框架下的实例化需要完成两方面的工作，首先，需要解决实际问题中动作空间的设计问题，合理的动作空间设计能降低问题的复杂度，提升学习效率，其次，需要给定环境反馈给智能体的回报函数的设计。

注意力机制是一种在自然语言处理和图像处理领域均取得优异效果的一类方法，普遍认为其能抓住不同状态表征之间的联系。在无人机群中，态势复杂，难以通过预编程的方式决定在什么样的状态之下，应该关注哪一架无人机，注意力机制通过一种可学习的方式来在不同阶段、不同状态之下关注不同的飞机，适用用于无人机调度场景中。

发明内容

发明目的：为了解决现有方案效率不够高的问题，提出了一种基于强化学习和注意力机制的无人机群的调度方法，能够在不同态势下关注不同的无人机，并且通过强化学习的方式来对这一机制进行训练，同时还给出了统一的动作空间分解框架调度无人机群，该框架对于无人机数量的改变不敏感，这增强了代码的适应性，并大大减轻了人类操纵指控的压力。

本发明方法包括以下步骤：

步骤1，根据所观测到的状态信息的维度，调整Transformer编码器(一种用于自然语言处理的高效且流行的处理模型)的输入维度和输出头的个数，并给定其他超参数，其他超参数包括编码层的个数、前馈层的维度和编码维度，通常来说编码层的个数设置为6，前馈层维度设置为2048，编码维度设置为512；

步骤2，收集仿真器给出的关于飞机状态信息，包括飞机编号id、空间横坐标x和纵坐标y、是否打开雷达干扰is_radar_on、干扰频点freq，将收集的信息经过预先编码后组装成为Transformer编码器的状态输入S＝(id,x,y,is_radar_on,freq)；

步骤3，将当前Transformer编码器的输出送入指针网络得到解码结果，解码结果为基于注意力机制得到的索引，也就是当前状态下最应该给予关注的目标单位的索引，并将该索引作为第一个输出头的结果；