[发明专利]基于强化学习的海域安全通信无人机轨迹实时规划方法

权利要求书

1.基于强化学习的海域安全通信无人机轨迹实时规划方法，其特征在于，包括以下步骤：

步骤一、建立联合大尺度衰落和小尺度衰落的UAV-船舶信道模型；

步骤二、通过船载AIS获得船舶的航道信息，并分别得到移动船舶、窃听节点接收的信干燥比和速率；

步骤三、通过求解系统最大平均保密速率来获得无人机的最优轨迹；

步骤四、基于离散空间的无人机运动模型和基于连续空间的无人机运动模型，分别使用Q-learning和DDPG算法来进行轨迹优化；

步骤五、设置相关仿真参数；

步骤六、展示不同起飞位置下两种算法的UAV轨迹实时规划结果、不同船舶航迹下两种算法的UAV轨迹实时规划结果、两种算法每次迭代得到的平均奖励和不同飞行时间下不同算法得到的平均保密速率。

2.根据权利要求1所述的基于强化学习的海域安全通信无人机轨迹实时规划方法，其特征在于，所述步骤一中，假设将无人机S的飞行时间T按极小等间隔d_t化分成N个时隙，即T＝Nd_t；在每个时隙内，考虑到实际的海域信道特性容易受到海面状况和气象条件环境因素的影响，因此，无人机-移动船舶或窃听的信道衰落模型建模成包括大尺度衰落和小尺度衰落的表示形式：

其中，g_sd[n]为无人机S到移动船舶D的信道功率增益，为无人机S到窃听节点E_k的信道功率增益；

式中，表示UAV到船舶D的距离，表示UAV到窃听E_k的距离。

3.根据权利要求1所述的基于强化学习的海域安全通信无人机轨迹实时规划方法，其特征在于，所述步骤二中，海洋上的船只是沿着预先规划好的航道行驶，而航道信息通过船载AIS获得，因此假设船舶D的航线为：

其中，V_d为船舶最大航运速度，d_t表示时隙，x_d[n]表示船舶D在n时隙在x轴的坐标，x_d[n+1]表示船舶D在n+1时隙在x轴的坐标，y_d[n]表示船舶D在n时隙在y轴的坐标，y_d[n+1]表示船舶D在n+1时隙在y轴的坐标，(x_d[n],y_d[n])和(x_d[n+1],y_d[n+1])分别表示船舶在n和n+1时隙的位置；

移动船舶D接收的信干燥比和速率为：

式中：SINR表示信干燥比，SINR_d表示船舶D的信干燥比，R_d表示船舶D的速率，P_s[n]表示UAV的发射功率；表示船舶D处的噪声方差；

窃听节点接收的信干燥比和速率为：

式中，SINR表示信干燥比，表示窃听节点E的信干燥比，表示窃听E处的噪声方差；

对系统进行优化，系统最大的平均保密速率表示为：

式中，为无人机最大水平飞行速度。