[发明专利]一种面向覆盖侦察任务的多无人机通信资源分配方法

说明书

本发明公开了一种面向覆盖侦察任务的多无人机通信资源分配方法，属于无人机集群测控通信领域，具体为：首先，将M架无人机飞行的任务区域栅格化，建立每条链路的信噪比和信道容量；进一步定义状态空间、动作空间和奖励函数，为每架无人机建立两个结构相同的深度神经网络：Q‑eval网络和Q‑target网络以及回放记忆库。随机采样训练样本分别输入Q‑eval和Q‑target网络中，输出对应的当前动作的预测Q值和目标Q值，然后利用均方误差损失函数，更新网络参数，不断拟合训练神经网络模型，最后基于通信资源分配方法，使得无人机在与环境的动态交互中学习到最优策略，使得通信系统性能最优的情况下保障覆盖区域最大化，以此更加自治和鲁棒的保障飞行任务，达到多任务目标的目的。

技术领域

本发明属于无人机集群测控通信领域，具体涉及一种面向覆盖侦察任务的多无人机通信资源分配方法。

背景技术

随着无人机(Unmanned Aerial Vehicles,UAVs)在国防建设和民用领域的市场规模不断扩大，由多架无人机协同执行任务的无人机集群系统成为各大军事强国的重点研究方向。

以美军为例，其先后组织实施了蝗虫(LOCUST)、山鹑(Perdix)、小精灵(Gremlins)等多个无人机集群项目，并在最新《无人飞行器系统发展路线图，2017～2042》中提出：高低空全覆盖、长战区停留、微型化、多功能、高性能的集群作战将是未来UAVs的主要应用方向。由于单架无人机覆盖能力有限，通常需要无人机集群相互协作地执行覆盖任务，因此覆盖侦察任务成为无人机集群军用和民用领域的重要任务类型。

当无人机集群协同完成覆盖侦察任务时，冗余的航路不仅会造成对目标区域的重复侦察，还会使无人机能耗大大增加，降低任务效率，因此高效合理的规划航路至关重要。

除了要考虑航路规划的合理性，UAVs还会面临通信环境的多变性和不确定性，包括复杂多变的电磁环境，节点的高移动性，以及无人机间相对位置的动态变化，这些因素都极易对无人机与无人机(UAV to UAV,U2U)之间的空空链路，以及无人机与地面基础设施(UAV to Infrastructure,U2I)之间的空地链路，造成不良影响。在有限频谱资源的情况下，无人机集群测控系统还会出现信道间干扰(Inter-Channel Interference,ICI)等问题，给无人机集群系统的通信安全和任务安全带来严重威胁。

因此，针对无人机集群覆盖侦察任务，研究一种既能规划出相对最优的飞行航路以达到最大化任务区域覆盖率的目标，又能够有效控制无人机发射功率和频谱分配的通信资源分配方法对无人机集群系统具有重要意义。

当前，通信资源分配的优化方法大多都集中在车联网领域，且主要为集中式资源分配方法。集中式资源分配方法需要中央控制器收集全局信道信息，传输开销极大，不适用于大规模网络环境。现有的无人机集群资源分配方法主要包括：通信距离限制下的基于谈判机制的方法，通信带宽和距离限制下的基于移动自组网的分布式方法，以及最大信噪比准则下的波束形成优化方案。然而，这些方法没有结合特定的无人机集群任务场景，且对于通信约束的研究不够全面，不能很好的将航路规划目标和通信性能优化目标结合起来。

随着人工智能浪潮的兴起，强化学习(Reinforcement Learning,RL)展现了可能超越人类的巨大潜力，能够有效解决动态环境下难以优化的目标问题。特别是近年来学术界提出将强化学习与神经网络的结合，能进一步解决高维状态空间与动作空间的复杂映射问题。

发明内容