[发明专利]一种基于深度强化学习算法的无人机辅助空地通信优化算法

说明书

本发明涉及一种基于深度强化学习算法的无人机辅助空地通信优化算法，属于无线通信技术领域。本发明首先构建分布有若干无人机基站和地面用户的三维场景，再建立无人机和地面用户的笛卡尔三维坐标模型，根据用户和空中基站的位置得到它们之间的距离和d和仰角θ，建立空地通信的系统模型，接着整理基站和用户之间的路径损耗，传输速率等影响因素，建立以吞吐量和公平性为目标的优化问题，然后确定模型所需的状态变量，动作变量以及奖励函数等，建立DDPG算法模型，最后根据算法，通过Python建立仿真，和其他算法进行对比。

技术领域

本发明涉及一种基于深度强化学习算法的无人机辅助空地通信优化算法，属于无线通信技术领域。

背景技术

极端的天气同时还伴发与气象因素有关的衍生灾害，如滑坡、泥石流、森林火灾、地震等。当这些自然灾害发生时，公共基础设施往往会遭到破坏，其中公共通信网络也会受损，主要的原因有：基站等通信基础设施受到直接破坏，导致局部地区通信受损，通信设备不能正常使用。另一方面，有些灾难发生的地区可能本身就不具有这类公共通信设施。公共通信设施的受损或缺乏给灾后救援、重建等工作造成了极大的障碍，为此，通过无人机携带基站便于快速组建网络对于灾后各项工作至关重要。只有构建完善的应急通信体系，提高各级政府应对突发公共事件的能力，才能在紧急关头保持受灾人员、救援工作者之间的通信，减少人民生活财产的损失。

配备通信设备的无人机(Unmanned Air Vehicle，UAV)的出现则为应急救援通信带来了一个新的、更加高效的选择，无人机具有具有体积小、造价低、使用方便、对作战环境要求低、战场生存能力较强等优点，能够广泛应用于各种复杂的环境之中，对需要进行应急通信的用户在没有基站等固定基础通信设施支撑的条件下，通过搭载无线收发装置的无人机群来进行临时通信，提高了通信的可靠性和有效性。

虽然无人机充当基站进行组网实现应急通信的前景广泛，但是无人机基站为地面用户提供服务还面临着能耗高、吞吐量较低，用户公平性差以及无人机的高维度动作空间等问题，传统的优化算法难以解决。近年来，谷歌的Deep Mind团队通过将深度学习算法和强化学习算法相结合，提出了更具智能化的算法——深度强化学习算法。其中深度确定性策略梯度算法(DDPG,Deep Deterministic Policy Gradient Algorithms)被证明了在高维动作空间场景比随机策略梯度算法更有优势，在计算策略梯度和选择动作时更具时效性，因此具有更加广泛的应用场景。

发明内容

本发明要解决的技术问题是提供一种基于深度强化学习算法的无人机辅助空地通信优化算法，能够解决自然灾害突发、通讯受损时建立紧急通信的问题，为灾区用户提供较好的通信服务质量，提高通信系统中的吞吐量和用户公平性。

本发明的技术方案是：一种基于深度强化学习算法的无人机辅助空地通信优化算法，构建预设大小且分布着若干地面用户和无人机基站的三维场景，用户和无人机之间通过TDMA方式进行通信。根据场景模型，计算无人机和地面用户通信时的路径损耗参数。根据路径损耗参数以及无人机基站的约束条件，构建以无人机和地面用户通信系统中的吞吐量和公平性为优化问题。通过深度强化学习算法中的深度确定性策略梯度算法(DDPG,DeepDeterministic Policy Gradient Algorithms)，解决构建的优化问题，得到优化结果。

具体步骤为：

Step1：建立空对地(A2G)通信模型。本发明考虑下行链路通信，传播的路径损耗取决于无人机和地面用户之间的距离以及传播环境的类型。无人机悬停在目标区域上空，由m(m≥1,m∈M)架无人机充当空中基站为k(k≥1,k∈K)个地面用户采用时分多址(timedivision multiple access，TDMA)方式提供通信服务。整个服务时间用T表示，T分为等长的时隙t(0≤t≤T)。