[发明专利]一种无人机飞行基站的三维部署和功率分配联合优化方法

说明书

本发明涉及了无人机飞行基站技术领域，具体公开了一种派遣无人机作为飞行基站服务地面用户簇的三维部署和功率分配联合优化方法。同时考虑视距传输和非视距传输对无人机到各用户的空地信道的影响，建立联合优化无人机三维位置和功率分配的最大化系统吞吐量模型。利用深度强化学习方法深度确定性策略梯度在连续的状态和动作空间中对该模型进行求解，结合注水算法对动作空间降维，使无人机成功学习最佳的三维部署位置和功率分配策略以对服务用户提供最大的吞吐量，在无人机能量有限的情况下提升了其能效。

技术领域

本发明涉及无人机飞行基站技术领域，尤其涉及一种无人机基站的三维部署和功率分配联合优化方法。

背景技术

在B5G时代，无人机提供了一种快速和具有成本效益的方式来支持对无线连接的临时需求，以解决诸如地面基站故障和网络流量拥堵的问题。一方面，与传统的地面基站相比，无人机飞行基站可以快速部署在基础设施难以大量铺设的偏远地区(如乡村、山区)和一些临时性的热点事件(如体育赛事、演唱会等)区域，极大地节约铺设地面基础设施的建设和维护成本。另一方面，飞行的无人机基站更有可能通过调整其在三维空间的悬停位置与地面用户建立视距链接，从而提供更高的数据率。由于这些优势，研究者们对无人机基站的最佳部署进行了广泛研究。然而，无人机的三维部署问题往往是一个复杂的非凸问题，并且在结合了功率等资源分配之后涉及更高维度的连续变量的优化，目前的研究开始转向机器学习方法来求解。但是，以往的研究中被较多采用的Q学习和深度Q网络等方法不能处理连续的动作空间，会使结果丧失一定的精度。因此，采用一种能够处理连续的状态和动作空间的机器学习方法，来研究具有高维度连续变量的无人机飞行基站三维部署和功率分配联合优化，可以提高系统吞吐量，这在无人机能量有限的情况下，对于提升无人机能效、提高网络性能等方面具有很好的实际意义。

发明内容

本发明提供一种无人机飞行基站的三维部署和功率分配联合优化方法，解决的技术问题在于：如何确定无人机同时服务地面多个用户的最佳悬停服务位置，以及如何给各地面用户分配最佳的功率。

为解决以上技术问题，本发明提供一种无人机飞行基站的三维部署和功率分配联合优化方法，包括步骤：

(1)无人机基站系统模型

S1：建立无人机飞行基站服务地面用户簇的系统模型；所述系统模型包括一架无人机，所述无人机服务的K个地面用户形成的用户簇，和所述无人机到所述地面用户的空地信道。

(2)系统吞吐量优化模型

S2：同时考虑视距传输和非视距传输对所述空地信道的影响，得到所述无人机到所述地面用户的路径损耗；

S3：以最大化系统吞吐量为目标，所述无人机三维位置和功率分配为联合优化变量，构建所述无人机服务所述地面用户簇的系统吞吐量优化模型；

(3)系统吞吐量优化模型求解

S4：将所述系统吞吐量优化模型构建为马尔可夫决策过程；

S5：结合注水算法，对所述马尔可夫决策过程的动作空间进行降维，并采用深度确定性策略梯度进行求解，得到所述无人机的最优三维部署位置和功率分配策略。

进一步地，所述无人机到某一地面用户k存在视距传输的可能性表示为：

其中，α和β表示与地理环境相关的统计参数；θ表示所述无人机到所述地面用户k的仰角，表示所述无人机的三维坐标，表示所述地面用户k的三维坐标，||q-w_k||表示所述无人机到所述地面用户k的直线距离。

则，对应的所述非视距传输的可能性表示为：

进一步地，