[发明专利]一种用于UAV辅助蜂窝网络的联合波束成形和功率控制方法

说明书

本发明公开了一种基于深度强化学习的联合波束成形和功率控制方法，针对无人机辅助蜂窝通信系统，提出了基于UCB Dueling DQN深度强化学习的联合波束成形与发射功率的资源分配方法。在算法学习过程中，利用最大置信上界来选择最优的波束向量和发射功率，可以提高学习效率和加快收敛，且能够抑制小区间干扰获得最优系统容量。

技术领域

本发明涉及无人机辅助通信领域，是一种联合波束成形和功率控制的小区间干扰管理方法。

背景技术

随着无线通信技术的快速发展，给无人机(UAV)安装移动通信设备，使无人机成为一个空中移动基站，可与地面通信网络组成一个空地一体化立体无线通信网络，如图1，极大地扩展移动网络的应用通信范围。空中无人机还可以组成大规模的机群与地面进行协同工作，这种立体通信系统可以满足未来无线网络的更多业务需求。

与高平台基站和卫星通信相比，低空无人机支持无线移动通信，尽管覆盖范围有限，但低空无人机具有成本低、灵活度高、易于快速部署的优点。当遇到紧急情况，能够及时提供应急通信服务，能为短期无线通信提供热点的需求。此外，低空通信可以与地面用户进行视距传输，获得更低的时延和更高的传输速度。

然而，面对海量的数据，如何在保持高资源利用率的基础上提高系统的性能，是无线通信应用面临的重要挑战。由于无线信道的开放性，网络中多个空中基站共存，通常运行在高度拥挤的频谱场景中，这会造成严重空中小区间干扰。因此，对于由多个空中基站组成的无人机辅助的蜂窝网络，迫切需要基站系统具有小区间干扰抑制能力，以提供强大的连通性。

在地面蜂窝通信系统中，采用多小区间联合波束形成和功率控制技术能较好抑制干扰，但大多采用传统优化方法来求解，计算复杂度高。为此，人们提出基于深度Q网络(DQN)的强化学习算法来计算UAV基站波束形成向量和功率，但该计算方法的收敛速度较慢而影响其实际应用。为了进一步提高UAV辅助的蜂窝通信系统性能，本发明提出一种基于UCB Dueling DQN的联合波束成形和功率控制方法，它具有更快的收敛速度，可以有效抑制UAV基站间干扰达到系统最优容量。

发明内容

本发明解决的技术问题是如何实现UAV辅助的蜂窝网络中联合波束成形和功率控制，来抑制多UAV基站间干扰而提高系统容量。

一种基于深度强化学习的联合波束成形和功率控制方法，包括以下实现步骤，如图2：

步骤(1)：初始化，设定UAV基站的状态集s和动作集a，折扣因子μ(常数)，当前神经网络Q的参数(α，β)，目标神经网络的参数总的迭代时间步数N_t；

这里α，β分别表示当前网络中状态值函数网络V和优势函数网络A的超参数，分别表示目标网络中状态值函数网络V和优势函数网络A的超参数。

步骤(2)：UAV基站观测当前系统状态s并选择一个初始动作a,其由{波束形成向量，发射功率值}组成；

这里观测状态主要完成对系统工作参数，如基站覆盖半径等进行配置。

步骤(3)：UAV基站执行动作a，即利用波束形成向量对发射信号赋形，并以动作a中的功率值发射信号；

步骤(4)：计算UAV基站执行动作a所获得当前时间步t时奖励值r_t；

步骤(5)：UAV基站观测下一时刻其所处状态s′；

步骤(6)：UAV基站将得到的向量集(s,a,r,s′),即(当前时刻状态，当前时刻动作，当前时刻奖励，下一时刻状态)存储到经验池D中；

步骤(7)：若经验池已满，从经验池D中取一批数据样本，以对神经网络进行训练；

步骤(8)：构造当前网络Q和目标网络把数据样本输入到当前神经网络处理得到Q(s,a)值；