[发明专利]基于强化学习的海域安全通信无人机轨迹实时规划方法

说明书

本发明提供了基于强化学习的海域安全通信无人机轨迹实时规划方法，属于通信技术领域。解决了传统优化方法无法实时处理海洋动态场景的问题。其技术方案为：步骤一、建立联合大尺度衰落和小尺度衰落的UAV‑船舶信道模型；步骤二、得到移动船舶、窃听节点接收的信干燥比和速率；步骤三、通过求解系统最大平均保密速率来获得无人机的最优轨迹；步骤四、使用Q‑learning和DDPG算法来进行轨迹优化；步骤五、设置相关仿真参数；步骤六、展示不同起飞位置下两种算法的UAV轨迹实时规划结果。本发明的有益效果为：本发明针对不同船舶的通信需求实时的规划出UAV飞行轨迹，有效保障海洋通信的实时性。

技术领域

本发明涉及通信技术领域，尤其涉及基于强化学习的海域安全通信无人机轨迹实时规划方法。

背景技术

目前海上通信以卫星通信和移动通信为主。然而，卫星通信传输时延大且成本高，大多只能提供窄带通信。移动通信覆盖范围小，无法满足远海通信需求。相比于海事卫星和岸基基站，无人机辅助的海洋通信具有部署灵活，覆盖范围大等优势。且UAV还可以通过轨迹设计来更加接近目标用户，提供良好的视距链路，从而显著提高传输速率和缩短通信时延。然而， UAV的LOS广播传输易被潜在的窃听者所拦截。因此，我们特别考虑一种UAV辅助的海洋安全通信场景，UAV的飞行轨迹应在接近目标用户的同时远离潜在窃听者。由于UAV不能在海面上着陆或补充能量，其在海洋上的飞行轨迹应在起飞前规划。同时，在实际的海洋环境中，UAV的初始起飞位置和船舶的航线可能是随机的，这将导致一个时变的动态环境。因此，现有方法无法解决海域UAV安全通信中的轨迹实时规划问题。

发明内容

本发明的目的在于提供基于强化学习的海域安全通信无人机轨迹实时规划方法；解决了传统优化方法无法实时处理海洋动态场景的问题，针对不同船舶的通信需求实时的规划出UAV飞行轨迹，有效保障海洋通信的实时性。

发明的思想为：首先考虑海洋传播的独特性带来了新的信道特性，如散射体稀疏性、海浪运动影响、海洋表面波导效应、气候影响等，与陆地场景的UAV-地面自由空间损耗模型相比，本发明提出了联合大尺度和小尺度衰落的UAV-船舶信道建模，可以较好的反映海浪运动和海洋散射等带来的影响；其次，与现有算法相比，本发明提出的基于Q-learning与DDPG的强化学习算法都将UAV的初始位置考虑在内(UAV起飞点随机分布在岸边)，在每次优化轨迹前UAV的初始位置都是随机选择的，因此提出的两种算法都可以解决UAV 不同起飞点的动态轨迹规划问题；最后，与现有算法相比，本发明提出的基于Q-learning 与DDPG的强化学习算法可以对船载AIS获取的不同船舶航道信息进行学习，从而针对不同船舶的通信需求可以实时的规划出UAV飞行轨迹，有效保障海洋通信的实时性。

为了实现上述发明目的，本发明采用技术方案具体为：所述方法包括以下步骤：

步骤一、建立联合大尺度衰落和小尺度衰落的UAV-船舶信道模型；

步骤二、通过船载AIS获得船舶的航道信息，并分别得到移动船舶、窃听节点接收的信干燥比和速率；

步骤三、通过求解系统最大平均保密速率来获得无人机的最优轨迹；

步骤四、基于离散空间的无人机运动模型和基于连续空间的无人机运动模型，分别使用Q-learning和DDPG算法来进行轨迹优化；

步骤五、设置相关仿真参数；

步骤六、展示不同起飞位置下两种算法的UAV轨迹实时规划结果、不同船舶航迹下两种算法的UAV轨迹实时规划结果、两种算法每次迭代得到的平均奖励和不同飞行时间下不同算法得到的平均保密速率。

所述步骤一中，假设将无人机S的飞行时间T按极小等间隔d_t化分成N个时隙，即 T＝Nd_t；在每个时隙内，考虑到实际的海域信道特性容易受到海面状况和气象条件环境因素的影响，因此，无人机-移动船舶或窃听的信道衰落模型建模成包括大尺度衰落和小尺度衰落的表示形式：