[发明专利]多无人机队形变换方法及系统

说明书

本发明涉及一种多无人机队形变换方法及系统，属于无人机队形变换领域。先建立适用于多无人机队形变换的马尔科夫决策模型，然后采用深度强化学习计算马尔科夫决策模型的最优解，在计算过程中，采集其他障碍物的状态以及动作信息并为其计算注意力分数，分数越高的障碍物无人机本体路径的影响越大，无人机本体在下一步动作选择中要关注此障碍并注意躲避，从而有效减小了无人机之间的碰撞发生几率。

技术领域

本发明涉及无人机队形变换领域，特别是涉及一种多无人机队形变换方法及系统。

背景技术

随着无人机技术以及电子信息技术的发展，无人机的应用越来越智能化，智能移动无人机的一个重要特征是在复杂动态环境下可以进行良好的路径轨迹规划实现无人机队形变换。智能无人机队形变换是指在搜索区域内给出合理的目标函数，并在一定范围内找到目标函数的最优解，使无人机进行有序的队形变换，无人机队形变换在许多领域有着广泛的应用，如大型无人机空中表演、无人机基站的区域覆盖以及无人机救援等。

近期用于无人机队形变换的主要算法是深度强化学习(Deep ReinforcementLearning,DRL)算法。DRL是人工智能领域近年来高速发展起来的一个方向，拥有着巨大的潜力，其主要是解决智能体从感知到决策的问题，深度强化学习也为无人机智能编队变换奠定了理论基础。

深度强化学习更早的用于路径规划的研究，但是早期研究更注重静态环境中单智能体的路径规划，但是随着应用场景复杂变化，智能体将从孤立的场景扩展成多个智能体共同存在的空间。传统的无人机队形变换通常将物体视为静态障碍物，这导致了智能体预见性低，容易产生不安全或者不自然的行为。为了解决多无人机安全实现智能队形变换的问题，无人机需要关注其他无人机的动作状态进行合作规则。基于此，亟需一种能够关注其他无人机的动作状态的多无人机队形变换方法及系统。

发明内容

本发明的目的是提供一种多无人机队形变换方法及系统，通过增加注意力机制来处理动态环境中信息复杂度高和对其他无人机重要性的评估不准确的问题。

为实现上述目的，本发明提供了如下方案：

一种多无人机队形变换方法，所述方法包括：

建立适用于多无人机队形变换的马尔科夫决策模型；

基于注意力机制以及深度价值网络算法计算马尔科夫决策模型的最优解，具体包括：

采集邻居无人机的状态动作信息，所述邻居无人机为与无人机本体相邻的无人机；

对无人机本体的状态动作信息以及所述邻居无人机的状态动作信息进行预处理，得到所述无人机本体和所述邻居无人机的联合状态特征向量；

根据所述联合状态特征向量和所述注意力机制获得注意得分；

根据所述联合状态特征向量和所述注意得分，获得综合特征值；

利用所述综合特征值和无人机本体的状态获得状态价值函数；

利用深度价值网络算法对所述状态价值函数进行迭代更新，得到最优状态价值函数；

根据最优状态价值函数获得无人机本体的最优动作选择，无人机本体的最优动作选择即为所述马尔科夫决策模型的最优解。

本发明还提供一种多无人机队形变换系统，所述系统包括：

模型建立模型，用于针对无人机队形变换问题建立适用于多无人机队形变换的马尔科夫决策模型；

计算模块，用于基于注意力机制以及深度价值网络算法计算马尔科夫决策模型的最优解

其中，所述计算模块具体包括：

数据采集子模块，用于采集邻居无人机的状态动作信息，所述邻居无人机为与无人机本体相邻的无人机；