[发明专利]面向动态环境的多无人机分布式智能任务分配方法

说明书

本发明公开了面向动态环境的多无人机分布式智能任务分配方法，包括：建立动态任务分配模型，基于无人机的请求策略建立随机博弈模型，基于无人机的应答策略建立马尔科夫决策模型，实现动态任务分配态势的实时表达；根据动态任务分配模型搭建请求网络与应答网络；在Actor‑Critic框架下搭建基于深度长短期记忆网络的无人机的请求网络，基于深度Q网络搭建无人机的应答网络；基于优先经验回放方法从经验数据库收取数据，通过反向传播算法对请求网络与应答网络进行权值更新；基于请求网络和应答网络对动态环境下的任务实时分配。本发明采用上述方法，具有较好的实时决策能力，在无人机种类和数量上具有较高的可扩展性，可适用于更大规模的无人机集群。

技术领域

本发明涉及无人机技术领域，尤其是涉及一种面向动态环境的多无人机分布式智能任务分配方法。

背景技术

随着无人机技术的快速发展，大规模无人机集群逐渐成为了重要的研究方向，旨在促进多无人机系统在不确定、危险的环境中协同完成各种任务的能力。其中，任务分配方法对无人机集群能否高效完成任务起到了关键性的作用。

多无人机系统的任务分配本质上是一个组合优化问题，其存在以下约束条件：异构无人机存在不同的能力；不同任务由不同无人机执行会产生不同成本或者收益；新增任务时间存在不确定性；任务需要不同能力的无人机合作完成。因此，在多无人机系统中如何快速、高效的完成任务分配是一个具有挑战性的工作。目前解决任务分配的方法主要有两种：集中式的和分布式。

集中式任务分配方法中，无人机集群的信息交流、信号传输和控制指令都是由一个控制中心发出的，使大量的计算任务都由地面站来完成，无人机只需进行轻量化设计。但是，集中式方法在进行任务分配时需要感知全局信息，在动态的战场环境中获取全局信息难度较高，并且随着无人机数量增多，任务分配的实时性也会下降。此外，集中式方法对地面战的依赖过于严重，一旦地面站遭受破坏，任务便无法继续进行。

分布式任务分配方法相对于集中式方法来讲，可以适应于更大规模的无人机集群，在实时性上有更好的优势。此外，基于分布式任务分配的多无人机系统由于不依赖地面站，对于任务场景的适应性更强。在执行任务的过程中，无人机可以根据自身状态与其他无人机通信进行决策，使得整个系统鲁棒性更强。目前，分布式任务分配方法中，基于一致性包分配算法为无人机任务分配提供了一种可行的方案，但是在处理动态任务的过程中需要重新进行任务分配，忽略了前期任务分配方案已达到无冲突的情况，浪费了之前的计算和通信资源。基于博弈论的方法，为无人集群的任务分配问题提供了一种自主决策框架，使得部分无人机可以适应于新增任务，其他无人机无需重新更换任务，可以适应于大规模无人机系统，但是仍然需要依赖全局无人机的通信。

因此，目前的分布式任务分配算法中存在以下问题：1）在任务重分配前忽略了无人机之间的无冲突状态，导致计算资源与通信资源的浪费；2）基于拍卖和博弈的动态任务分配方法仍然需要所有无人机全局通信，导致系统需要承担较大的通信负载。

发明内容

为了能够解决以上问题，本发明基于深度强化学习设计了双向请求动态任务分配方法，使得多无人机系统在只需局部通信的条件下重新分配部分无人机来满足动态任务需求，提高动态任务重分配的实时性，更好的利用无人机集群的现有资源。

为实现上述目的，本发明提供了如下技术方案：

面向动态环境的多无人机分布式智能任务分配方法，操作如下：

建立动态任务分配模型；基于无人机的请求策略建立随机博弈模型，基于无人机的应答策略建立马尔科夫决策模型，实现动态任务分配态势的实时表达；

根据动态任务分配模型搭建请求网络与应答网络；在Actor-Critic框架下搭建基于深度长短期记忆网络的无人机的请求网络，基于深度Q网络搭建无人机的应答网络；