[发明专利]基于深度强化学习的无人机轨迹及功率联合优化方法

说明书

本发明提供一种基于深度强化学习的无人机轨迹及功率联合优化方法，其特征在于：建立无人机系统模型，对无人机轨迹控制和功率分配问题进行描述；建立马尔可夫模型，包括通过设置状态、动作空间和奖励函数，确定马尔可夫决策过程；采用深度确定性策略梯度方法，实现轨迹控制和功率分配的联合优化。应用本发明无人机可以准确移动到目标用户设备附近以提供无线服务，这可以减轻对未服务的用户设备的同信道干扰，同时控制无人机的发射功率，以实现频谱效率与避免干扰之间的平衡。

技术领域

本发明属于无线通信技术领域，具体涉及一种基于深度强化学习的无人机轨迹设置和功率分配联合优化方法。

背景技术

最近，无人机被认为是未来无线网络中的有效技术。由于其快速的部署，灵活的配置，广泛的覆盖范围和较低的成本，无人机可以用作与地面用户设备之间的中继以进行协作通信。此外，由于无人机可以智能地改变其位置以为地面用户设备提供按需无线服务，所以无人机还被设计用于无线通信的空中基站。因此，无人机辅助蜂窝网络已被应用于各种应用，例如遥感，交通监控，公共安全和军事。

但是，当前在无人机辅助的蜂窝网络中，还存在一些技术挑战，包括轨迹控制，资源分配和干扰管理。通过适当地设计无人机的轨迹，无人机可以移动到目标用户设备附近以提供无线服务，这可以减轻对未服务的用户设备的同信道干扰。此外，还应该控制无人机的发射功率，以实现频谱效率与避免干扰管理之间的平衡。因此，本发明提出，应该共同考虑轨迹控制和功率分配的优化实现技术问题。

发明内容

为了克服现有轨迹控制和功率分配问题的非凸性，本发明的目的在于提出一种基于深度强化学习的联合轨迹控制和功率分配的最优技术方案。

为了达到上述目的，本发明所采用的技术方案是一种基于深度强化学习的无人机轨迹及功率联合优化方法，建立无人机系统模型，对无人机轨迹控制和功率分配问题进行描述；建立马尔可夫模型，包括通过设置状态、动作空间和奖励函数，确定马尔可夫决策过程；采用深度确定性策略梯度方法，实现轨迹控制和功率分配的联合优化，实现方式如下，

所述深度确定性策略梯度方法结合actor网络和critic网络，并设置相应目标网络；核心地面基站首先初始化经验回放存储器D、actor-critic网络的权重以及相应的目标网络；

设训练过程有EP个训练集，每个训练集都有T时隙；在每个训练集中，首先初始化网络状态，在每一训练集的每一个时隙，动作由带有随机噪音的actor网络发出；核心地面基站将选定的动作发送给所有无人机后，所有无人机都会相应地设置自己的轨迹和传输功率；当某些无人机飞出网络区域时，它将选择一个随机方向角，如果某些无人机的高度h_i(t)超过[H_min,H_max]，无人机将停留在H_min或H_max高度，其中H_min和H_max分别表示无人机的最小高度和最大高度；一旦某些无人机学习到最好的轨迹和功率，并为覆盖范围内的用户设备提供无线服务时，训练过程全部结束；

此外，通过导频信号，每个用户设备测量来自所有无人机的接收功率；基于最大接收信号功率，用户设备与无人机相关联；在用户关联之后，用户设备给关联的无人机报告自己的当前状态；

最后，在回程链路的帮助下，核心地面基站获得全局网络下一状态和即时奖励，相应信息保存在经验回放存储器D中，所述信息包括状态S(t)、下一状态S′(t)、动作A(t)和奖励R(t)；从经验回放存储器D中随机抽取mini-batch转移样本，以更新actor网络和critic网络；目标网络的权重相应被缓慢更新；

重复上述训练过程，直到所有无人机覆盖所有热点而没有重叠，并且所有用户设备的服务质量要求都得到满足。

而且，所述建立无人机系统模型，实现如下，