[发明专利]多智能体强化学习的多自由度模型的无人机协同追捕方法

说明书

本发明涉及一种多智能体强化学习的多自由度模型的无人机协同追捕方法，由于采用多智能体强化学习算法对多无人机追捕问题进行研究，比传统的数学模型方法或者单智能体强化学习方法体现出更智能的自主决策，同时本发明中，建立了基于强化学习的多无人机围捕策略推演方法，制定了多自由度无人机模型集群对抗策略。由于采用多自由度无人机模型，构建了更为复杂和精确的模型更新优化，弥补了现有方法在复杂场景下多智能体系统空战对抗方法的不足，提高了空战模型的精确性。

技术领域

本发明属于强化学习和多无人机对抗领域，涉及一种多智能体强化学习的多自由度模型的无人机协同追捕方法。具体涉及一种基于多智能体强化学习的多自由度模型的无人机协同追捕方法，主要完成了在使用多自由度无人机模型的军事作战仿真场景下，使用多智能体强化算法，研究多架低速追捕无人机对单架高速逃逸无人机的追捕方法，对于提高多无人机协同空战对抗能力具有非常重要的实践意义。

背景技术

随着现代科技的飞速发展，未来战场环境愈发复杂多变，具有较强隐蔽性，低成本，高伴随性的无人作战装备的重要性日益凸显，甚至将颠覆传统战争理念。而随着无人装备体系的日渐复杂，为提升作战效能提出的协同作战概念也得到了快速发展。然而,传统方法在设计围捕策略时,往往对逃逸目标的运动策略做出单一假定,但是在真实战场环境下己方很难获知逃逸目标的控制策略,同时当环境模型发生变化时,控制器参数难以快速适配,具有一定局限性。

近年来随着强化学习算法的不断充实，人工智能技术可解决的问题已经从简单环境下完全信息动态博弈问题转向复杂环境下不完全信息动态博弈问题。多智能体强化学习的发展为解决无人机集群追捕问题提供了新的方法，各军事强国持续发展无人机集群作战力量，期望以成体系的低成本无人机集群，袭扰相对孤立的高价值军事目标，发挥出非对称作战优势。在未来多域多维的体系化作战中克敌制胜。

在未来战争中，无人机集群必然会在战场中担任重要角色，智能体集群智能化也将越来越深入。因此，面对多自由度的无人机集群追捕问题，使用强化学习算法构造一套高效率训练算法，教会智能体在一个连续且动态变化的环境中完成协同追捕工作，提高多智能体的自适应性和协同性，对现代战场的智能体协同作战具有重要的指导意义。

现有技术的方案：

现有的基于强化学习的无人机集群追捕方法中对无人机模型的控制一般均为单自由度模型，基于这个模型在一个二维场景内选择追捕无人机去围捕逃逸无人机，同时对追捕无人机集群的控制算法采用单智能体的算法进行控制，即无人机集群内部没有单元之间的通讯。

现有技术的缺点：

1、部分基于强化学习的无人机集群问题都简化为基于单智能体的无人机问题，在多智能体无人系统中使用此类算法会出现协同性差、学习和收敛速度慢甚至难以收敛等一系列问题。

2、目前已有的作战仿真场景大多数为二维场景，即算法中受控的无人机为单自由度模型，此类方法较难以应用于实际中。

3、目前是目前围捕问题场景中大多都是设定追捕无人机速度优于逃逸无人机，而针对追捕无人机速度相对于逃逸无人机处于劣势的场景还是研究比较少。需要研究更为复杂和精确的模型，能够基于集群智能的优势，处理这种非同等运动参数条件下的追捕问题。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种多智能体强化学习的多自由度模型的无人机协同追捕方法，探讨使用多自由度无人机模型在军事作战场景下低速追捕无人机集群对一架高速逃逸无人机进行围捕的对抗策略，并使用多智能体深度强化学习算法来控制智能体之间进行通讯协同，对现代化无人机集群空战具有一定的现实指导意义。

技术方案

一种多智能体强化学习的多自由度模型的无人机协同追捕方法，其特征在于：作战区域中存在红方多艘同构追捕无人机和蓝方单架逃逸无人机，红方无人机通过协同合作尽快对逃逸目标实现围捕成功。步骤如下：