[发明专利]一种基于强化学习的反无人机任务分配方法

说明书

针对当前反无人机系统单一拦截装备在暂时性的任务分配中无法有效压制无人机的问题，本发明公开了一种基于强化学习的反无人机任务分配方法，包括：对改进的DQN算法初始化，改进的DQN算法是指相对于DQN算法，采用当前时刻的状态来预测Q值；通过改进的DQN算法完成智能体的训练与优化，在智能体训练完备之后保存网络参数；将无人机状态信息S输入强化学习模块，通过强化学习输出次优解X，即初期的分配策略；通过进化算法对强化学习生成的次优解进行优化，生成目标分配的最优解；对所述的最优解进行解码，获得反无人机的任务分配方案。本发明中通过改进的DQN算法训练的智能体拦截表现更为精确，任务分配更加高效且适用。

技术领域

本发明属于反无人机任务分配技术领域，涉及一种基于强化学习的反无人机任务分配方法。

背景技术

近年来，随着通信和工业等领域技术的不断发展与完善，无人机的数量正经历爆发性的增长，在军事和民用领域都得到了广泛应用。它们的身影广泛的出现在航空拍摄、农业生产、植物保护、快递运输、交通监控、灾难救援、测绘，电力巡检等诸多领域。其中，安全通信与攻击检测领域尤其引人重视，越来越多的研究人员开始将目光聚集在此。

目前，世界各国大多是将无人机视为传统飞行目标，普遍采用传统防空武器系统，以确保打击和防护效果的有效性。虽然这样做可以确保无人机防护的有效性，但是从成本对比上，这无疑是一种战略资源的浪费，是在使用“高射炮打蚊子”。另一方面，在设计之时，现有防空武器系统并不是用来针对无人机的，所以也不适合抵御小型、廉价无人机集群的飞行入侵。

针对低空无人机的诸多问题，一些行之有效的方法逐渐浮现。这些方法方法分为两类，一类以研发新的武器装备为主，但是现有的国内外反无人机装备只能在某些特定环境下具备反无人机的能力，并且能力也比较单，具有极大的局限性。另一类以研发新的反无人机系统为主，旨在通过合理利用现有的设备与理论期望实现对无人机的全方位压制。目前，可以系统有效进行无人机防护与压制的全要素反无人机系统尚未投入到实际应用当中。

发明内容

针对反无人机武器的射程较近且相对的防护区域较大，单个武器的防护区域有限，面对多个方向的来袭无人机，单个武器的可打击目标有限；同时，对单个方向的多架次无人机，在暂时性的分配中可使用的武器有限等问题，本发明提出一种采用多类型装备复合式反无人机方法。该方法中，使用动态的目标分配，更注重考虑分配时的随机事件，力求即时且完美的解决意外出现的目标。由于时间和随机事件的因素，如何针对不同类型拦截装备的属性和使用特点，进行高效的任务分配是问题的核心。

本发明中基于强化学习的反无人机任务分配方法，采用深度强化学习与进化算法相结合的方法来解决动态的任务分配问题。包括如下步骤：

步骤1，对改进的DQN(Deep Q Networks)算法初始化，所述改进的DQN 算法是指相对于DQN算法，采用当前时刻的状态来预测Q值；

步骤2，通过改进的DQN算法完成智能体的训练与优化，在智能体训练完备之后保存网络的参数；

步骤3，将无人机状态信息S输入强化学习模块，通过强化学习输出决策结果次优解X，即初期的分配策略，表示为拦截装备的状态；

步骤4，通过进化算法对强化学习生成的次优解进行优化，最终生成目标任务分配的最优解；

步骤5，对所述的最优解进行解码，获得反无人机的任务分配方案。

同时，本发明采用多智能体进行决策，智能体的数量与拦截装备的数量相同。单独采用一个智能体来决定分配问题的状态空间太过庞大，算法难以收敛，同时无法遍历状态空间，无法在合理时间内给出满意的结果。