[发明专利]一种基于深度强化学习算法的无人机辅助空地通信优化算法

权利要求书

1.一种基于深度强化学习算法的无人机辅助空地通信优化算法，其特征在于：

Step1：建立空对地通信模型；

Step2：建立无人机和地面用户的三维笛卡尔坐标模型；

Step3：通过无人机和地面用户之间的距离和仰角，建立它们之间的路径损耗函数；

Step4：根据无人机和地面用户之间的路径损耗参数，以无人机和地面用户之间的吞吐量和公平性为优化问题，确定以服务质量为优化目标，以通信传输速率为服务质量的指标，构建优化目标的问题表述；

Step5：根据构建的优化问题，建立深度强化学习中的状态变量，动作变量以及奖励函数，通过强化学习算法中的深度确定性策略梯度算法，进行仿真实验，并对比不同算法的性能；

所述Step2具体为：地面用户的高度定义为0，地面用户的位置用三维坐标表示为K(t)＝{x_k,y_k,0}，无人机当前时隙t时的三维位置表示为M(t)＝{x_m,y_m,z_m}；

其中，x_m，y_m表示坐标中UAV的水平位置，z_m为UAV的高度，地面用户和无人机之间的仰角为θ；

所述Step3具体为：

Step3.1：视距通信的概率通过sigmod函数拟合表示为：

式中，α和β是环境变量参数；

Step3.2：分别得出以dB为单位的LoS链路和NLoS链路的损耗如下：

基于以上分析，无人机和地面用户之间的路径损耗和表示为：

PL＝P_LoS×L_LoS+P_NLoS×L_NLoS

所述Step4具体为：

Step4.1：无人机和用户之间的信道增益表示为：

其中，ρ₀表示单位参考距离为1m时的信道功率增益；

Step4.2：无人机和用户之间的信干燥比表示为：

其中，p_m(t)表示无人机基站的发射功率，0＜p_m(t)＜p_max，σ²是用户处的加性高斯白噪声的功率，是时隙t时的传输同信道干扰；

设γ'代表满足通信需求时信干噪比的阈值，则γ_m,k(t)≥γ'；

Step4.3：通信过程中的吞吐量可由以下公式计算：

r_m,k(t)＝B_k(t)log₂(1+γ_m,k(t))为无人机和用户之间的传输速率；

为每个用户的吞吐量；

为服务时间T内的无人机的信道总容量；

由以上公式可求的无人机在服务时间T内的吞吐量可表示为：

Step4.4：针对通信的公平性，通过引入Jain公平指数，可将用户的吞吐量比例定义为则在服务时间内的公平指数可表示为：

越大，用户通信的公平性越高；

整个服务时间内的公吞吐量表示为：

结合上述公式，优化问题可构建为以下两个：

P1:

C1:

C2:

C3:γ_m,k(t)≥γ',m∈M,k∈K

C4:0≤p_m(t)≤p_max,m∈M

C5:d≥d_min

C6:M(t)∈D

C7:h_min≤z_m≤h_max

C8:E_T≥E_min,0≤E_t≤E₀

其中，C1，C2，C3，C4为无人机基站满足通信服务需求的约束，C5，C6，C7是针对无人机位置的约束，C8是针对无人机能耗的约束；

P2:max R_f(t)

C1:E₀＝E_max,E_T≥E_min

C2:

其中，C2为Jain公平指数的约束，P1为针对吞吐量的问题优化，P2是公平吞吐量的问题优化。