[发明专利]一种基于数字孪生式训练的集群航迹规划强化学习方法

说明书

本发明公开了一种基于数字孪生式训练的集群航迹规划强化学习方法，该方法将无人机集群航迹规划问题的状态空间进行分类，并设计相应的子Actor网络用于处理不同类别的状态信息。为了驱动集群更好的完成航迹规划任务，该方法设计了五种不同的奖励信号，最终的奖励函数是五种奖励信号的线性耦合。同时，该方法设计了一种基于数字孪生的无人机集群航迹规划深度强化学习方法的仿真训练体系架构，构建无人机集群数字孪生系统；深度强化学习方法运行于孪生决策模型中，并利用集群孪生仿真模型和孪生连接通道，进行深度强化学习网络模型的训练和部署。本发明的仿真结果证明了该方法的有效性。

技术领域

本发明属于无人机集群航迹规划领域，特别涉及基于数字孪生式训练的集群航迹规划强化学习方法。

背景技术

过去的十年里，无人机在航空摄影、搜索和救援、目标跟踪、森林防火、人群监控和农业喷洒等诸多军事和民用领域得到了广泛应用。如果有多架无人机以集群的方式协同工作，可以更加高效的执行这些任务。对于无人机集群系统而言，而无人机集群航迹规划是实现多无人机协同的重要前提，一组无人机以集群的方式自主的从起点运动到终点。

传统的集群航迹规划方法大多是基于控制理论的。这些算法通常是针对特定场景设计的，当场景发生变化时，它们的性能会迅速下降。并且，这些算法通常假设环境信息对所有无人机都可用，这在现实世界中是不实际的。

近年来，机器学习（Machine Learning，ML），特别是深度学习（Deep Learning,DL）随着计算能力的增长，越来越多地被用于解决一些复杂问题，为无人机集群航迹规划问题提供了另一种解决方案。强化学习（Reinforcement Learning, RL）作为一种机器学习方法，适用于处理序列决策问题。最近，结合DL和RL的深度强化学习（Deep ReinforcementLearning, DRL）的出现，极大地提高了RL解决大规模复杂问题的能力，并在围棋等游戏领域取得了巨大成功。

集群航迹规划问题和游戏问题一样，也是一个顺序决策问题。然而，由于航迹规划问题的部分可观测性，如何利用深度强化学习实现无人机集群航迹规划仍然存在诸多困难。本发明即在上述背景下展开。同时，由于非线性和不确定因素的影响，很难为集群航迹规划问题建立高保真的仿真环境。在仿真环境中，从DRL方法中学习到的策略不能直接部署在现实世界的无人机上。其次，如果使用真实世界的无人机来训练DRL模型，由于数据采集效率低下，训练速度缓慢，仿真与现实之间的差异问题限制了DRL在集群航迹规划问题中的应用。

为了解决上述问题，我们将注意力转向数字孪生（Digital Twin, DT）技术。DT是真实世界中的物理模型在信息域中的高保真镜像，根据历史数据、传感器数据及时反映真实世界的状态变化。DT已广泛应用于智能城市、智能制造和健康管理。借助DT，机器学习方法可以很容易地获得真实世界的高保真状态信息，用于模型训练。然而，如何将DT应用于无人机集群航迹规划的DRL训练体系架构尚未有人研究。

发明内容

本发明的目的是针对无人机集群航迹规划问题，提出一种基于数字孪生式训练的集群航迹规划强化学习方法，从而有效提高无人机集群自主航迹规划的能力。为了实现该目的，本发明公开了一种基于数字孪生式训练的集群航迹规划强化学习方法，所采用的步骤是：

步骤1：构建无人机集群航迹规划问题的状态空间和动作空间，状态空间由三部分组成，包括目标位置状态信息，障碍物位置状态信息和邻居节点状态信息；动作空间为无人机的速度大小和方向；

步骤2：设计无人机集群航迹规划问题深度强化学习方法的奖励函数，奖励函数包括五部分，分别为无人机接近目标奖励，无人机与障碍物之间的防碰撞奖励，无人机与邻居节点之间的协同奖励，无人机的运动奖励以及边界奖励，最终的奖励函数为上述五者的线性耦合；