[发明专利]一种基于上下文-MAB的中继无人机路径规划方法

说明书

本发明涉及一种基于上下文‑MAB的中继无人机路径规划方法，属于基于强化学习的路径规划技术领域。所述方法，先获取任务区域的用户数据，构建任务区域模型；获取用户、无人机与子网格特征，优化无人机与子网格特征权重矩阵，得到无人机与子网格上下文特征；而后对用户、无人机与子网格进行聚类，对无人机、子网格特征进行降维，得到无人机与子网格降维特征；随后基于此进行上下文‑MAB推荐，并依据用户分类结果估计连接情况反馈值，得到无人机路径；所述中继无人机路径规划方法，有效减少了推荐目标的数量；减小了服务用户数目达到最大值需要的无人机架次，并提高了服务用户总数与平均收益。

技术领域

本发明涉及一种基于上下文-MAB的中继无人机路径规划方法，基于上下文匪徒算法的空地网络中继无人机的路径规划方法，属于基于强化学习的路径规划技术领域。

背景技术

相对于传统飞机，由于无人机拥有更长的航行时间，能够比飞行员驾驶执行时间更长、难度更大的任务，因此在各种应用场景中已经获取了人们的广泛关注。此外，无人机便于维护、成本低廉的特点也推动了无人机向科学应用领域与娱乐应用领域更加广泛与深入的发展。

近年来，无人机已被引入到动态中继、大面积环境传感和应急通信的无线通信系统中，称为无人机辅助网络。在环境传感系统中，无人机作为数据收集器，飞过大面积无人区，收集部署在考察区域内的环境传感器的数据。在移动中继系统中，利用无人机作为动态中继来代替固定中继节点，从而实现最佳中继位置的确定，尽可能的动态调整以匹配通信场景。在应急通信系统中，UAV可以成为配备小型基站(BS)的平台为紧急事件和重点体育比赛、或者灾后现场等应用场景提供无线宽带服务。

现有技术下无人机通常通过在任务区域上方固定悬停或定期盘旋的方法执行中继任务，电量耗尽后返回充能，执行效率低下，并且无人机轮换时可能会出现某些区域网络断开的情况。要改善这种情况的一种方法是应用更多的无人机，成本过于高昂，且在广地域范围、大数量用户的情况中劣势更为明显。

本发明将空地网络中继无人机路径规划问题建模为一个MAB问题。MAB问题是机器学习中的一个经典范式，在这个范式中，一个在线算法在一连串的试验中从一组策略中选择，以使所选策略的总回报最大化。MAB问题将应用场景中的选择问题转化为收益问题，从宏观的角度看待某个特定的应用场景，通过不同的算法来平衡探索与利用。常用的算法包括contextual-free的ε-贪婪算法、Softmax算法、UCB算法、以及基于上下文的汤普森采样法和LinUCB算法等。本问题上下文-MAB，即上下文-多臂匪徒问题与空地网络中继无人机路径规划问题结合，并考虑了无人机与用户无法获知用户连接情况的情形，通过用户分段的方法估计用户的连接情况。以期提高无人机路径规划效率、获取更高的平均收益。

发明内容

本发明的目的是针对现有空地网络中继无人机路径规划方法存在的用户连接率不高、无人机飞行成本高的问题，提出了一种基于上下文-MAB的中继无人机路径规划方法。

为了达到上述目的，本发明所采用如下技术方案：

所述路径规划方法，包括如下步骤：

步骤1、划分任务区域并保存划分好的子网格位置信息，初始化无人机航行路径；

其中，任务区域即为空地网络的服务地域，该区域被划分为K×K个相等的子网格；无人机航行路径为一列向量，向量元素是无人机服务过的子网格；

步骤2、对用户、无人机与子网格进行特征编码，得到用户、无人机与子网格的二进制特征向量；

具体为：对用户、无人机或子网格的特征按照大小分段，对应分段的特征进行二进制编码，并将得到的二进制编码作为该特征对应的二进制特征向量，连接不同特征所得二进制编码得到完整的二进制特征向量；

其中，用户特征包括用户所在地理位置与用户终端收发功率；