[发明专利]基于三重学习器的无人机辅助移动边缘计算强化学习方法

说明书

本发明公开了一种基于三重学习器的无人机辅助移动边缘计算强化学习方法，首先以具备边缘计算能力的无人机和物联网设备建立移动边缘计算网络，且以网格的形式部署无人机，无人机作为移动边缘服务器，为物联网设备提供任务计算，并以所有无人机的能效最大为目标建立无人机的协同工作机制，针对无人机机动能力、存储空间和能量建立轨迹规划、应用部署和能量更新在内的多智能体随机博弈。本发明所述方法集成了轨迹学习器、应用学习器和能量学习器，解决了多架无人机移动边缘计算下的长期无人机能效优化问题，为无人机辅助移动边缘计算中无人机能效最大化的合理决策提供解决方案。

技术领域

本发明属于无人机辅助移动边缘计算中无人机轨迹、充电调度和应用放置优化技术，具体涉及一种基于三重学习器的无人机辅助移动边缘计算强化学习方法。

背景技术

移动边缘计算作为支持资源受限的移动物联网设备运行计算密集型而延迟敏感的物联网应用的一种有前景的技术已被广泛接受。移动边缘计算强调应用服务和内容可以实现本地化和近距离分布式部署。每个移动边缘计算实体为其服务的用户提供服务，在一定程度上解决了5G增强移动宽带低延迟、高可靠性和大规模机器通信终端连接的业务需求。然而，多架无人机的移动边缘计算优化相关的问题仍存在一些关键问题尚未得到很好的研究。问题主要包括3个方面：

1)无人机数量和覆盖范围有限，无法同时为所有物联网设备提供边缘计算服务。这就要求无人机在不同地区飞行，为物联网设备提供服务。

2)每个任务由相应的应用计算。无人机存储容量有限，不能存储所有类型的应用。由于应用数据量大，且无人机对地面基站的传输速率有限，导致无人机布放应用的延迟非常大。这提示无人机需要返回地面更新应用的位置。

3)由于无人机的高机动性，在空中更新无人机的能量并不容易。这就要求无人机返回地面进行能量更新。

然而，如果考虑到上述所有的因素，实现无人机辅助移动边缘计算系统将会遇到一定的困难，原因包括如下三点：

a、由于无人机数量和覆盖范围有限，每架无人机只能覆盖部分物联网设备。因此，无人机必须飞越另一个地区，以覆盖部分物联网设备。优化无人机飞行轨迹，为尽可能多的物联网设备提供边缘计算服务是一个具有挑战性的问题。

b、由于无人机在空中放置应用的延迟较大，无人机返回地面时需要更新其应用放置。优化每架无人机的应用布局以计算更多的任务是一个具有挑战性的问题。

c、由于无人机在空中的能量更新不方便，无人机需要返回地面进行能量更新。在物联网设备服务质量要求的前提下，无人机更新能量的优化决策是一个具有挑战性的问题。

发明内容

发明目的：针对上述现有技术中存在的无人机数量和覆盖范围有限、无人机在空中放置应用的延迟较大以及无人机在空中的能量更新不方便的问题，本发明提供一种基于三重学习器的无人机辅助移动边缘计算强化学习方法。

一种基于三重学习器的无人机辅助移动边缘计算强化学习方法，包括如下步骤：

(1)通过无人机设置边缘服务器，构建移动边缘计算网络，以网格形式部署无人机，所述移动边缘计算网络还包括物联网设备，物联网设备与无人机建立通信，用于物联网设备卸载计算任务，无人机接收到物联网设备请求的计算任务后，进行任务计算并将结果发送给物联网设备；

(2)在移动边缘计算网络中建立无人机之间相互协同工作机制，针对无人机机动能力、存储空间和能量建立轨迹规划、应用部署和能量更新在内的多智能体随机博弈，以所有无人机的能量效率最大为目标，并转化对应在每个无人机中设置三个相关的基于q学习的学习器来寻找三个博弈的均衡，包括轨迹学习器、应用学习器和能量学习器；

所述的多智能体随机博弈中，每个无人机在每个时隙单独选择自己的行动，包括所有无人机与其他无人机合作以达到相同的目标，且通过有限状态马尔可夫决策过程来描述各无人机的博弈过程；