[发明专利]边缘计算中基于强化学习的无人机任务卸载方法及系统

说明书

本发明提供了一种边缘计算中基于强化学习的无人机任务卸载方法及系统，包括：步骤1，根据无人机到边缘节点的距离、边缘节点处理能力、切换节点对任务完成时间和能耗的影响建立基于边缘计算的无人机目标追踪的系统模型。本发明根据无人机到边缘节点的距离、边缘节点处理能力、切换节点对任务完成时间和能耗的影响，建立了基于边缘计算的无人机目标追踪的系统模型，通过研究无人机目标追踪过程中的任务分配决策问题，将无人机目标追踪过程中的任务分配决策问题建模成马尔可夫决策过程，并基于强化学习中的Q学习设计求解算法，得出最佳的边缘节点选择方案和发射功率调整方案，实现任务卸载过程中能量开销和时间开销权衡的最小化。

技术领域

本发明涉及无人机目标追踪技术领域，特别涉及一种边缘计算中基于强化学习的无人机任务卸载方法及系统。

背景技术

由于无人机具有快速部署和鸟瞰视角的优点，无人机被广泛应用于农业、灾害感知、应急管理、边境管制、环境监测、数据收集、智能交通系统和人群监控等领域。本发明主要研究无人机在目标追踪场景中的应用，然而，和前面提到的无人机在其他领域的应用一样，依赖实时视频流和图像处理的决策应用往往会超过低成本无人机的本地数据处理能力，或者延长执行某个决策动作所需的时间。

为了解决这个问题，可以考虑无人机与边缘计算进行合作，实现从无人机到边缘节点的计算卸载。随着5G时代的到来，边缘计算作为一种新兴的计算模式，带来了高速率大带宽、低时延高可靠、低功耗大连接的网络环境，在边缘计算环境中，计算任务可以在接近数据源的计算资源上运行，它具有实时性、隐私保护和降低能耗等特点。

边缘计算中的任务卸载问题、无人机的卸载问题已经有很多相关研究，它们建议将无人机等资源受限设备的计算任务卸载到远程云或者边缘服务器进行处理，具体来说，有如下已有工作：1、使用基于cloudlet的基础设施来减少使用移动云计算时的功耗和网络延迟；2、重点从物理层安全方面考虑，研究无人机移动边缘计算系统的节能计算卸载技术；3.卸载无人机工作过程中繁重的计算任务，同时实现了能耗、时间延迟和计算成本之间的最佳折衷。在任务卸载方法选择方面，有工作建立了马尔可夫决策过程框架下的延迟最优计算任务卸载问题，并提出了有效的一维搜索算法来寻找最优解。

大部分已有的研究讨论了移动设备的任务是否需要卸载，以及在本地处理和卸载处理两种方式中如何做出选择的问题。但是这些边缘计算中卸载问题的研究没有考虑无人机目标追踪场景中最主要的特征：随着无人机的移动，无人机上产生的任务是移动的，无人机在追踪的过程中会飞出边缘节点的服务范围，所以无人机不能一直和一个边缘节点保持连接，而且无人机发射功率的调整，可以减少无人机数据传输过程中的能耗。

发明内容

本发明提供了一种边缘计算中基于强化学习的无人机任务卸载方法及系统，其目的是为了解决为每个任务选择边缘节点以及调整无人机发射功率使得系统的能量开销和时间开销的权衡最优的问题。

为了达到上述目的，本发明的实施例提供了一种边缘计算中基于强化学习的无人机任务卸载方法及系统，包括：

步骤1，根据无人机到边缘节点的距离、边缘节点处理能力、切换节点对任务完成时间和能耗的影响建立基于边缘计算的无人机目标追踪的系统模型；

步骤2，通过研究无人机目标追踪过程中的任务分配决策问题，将无人机目标追踪过程中的任务分配决策问题建模成马尔可夫决策过程；

步骤3，基于强化学习中的Q学习设计求解算法，对无人机目标追踪过程中的任务分配决策问题进行求解，得出最佳的边缘节点选择方案和发射功率调整方案。

其中，所述步骤1具体包括：