[发明专利]基于深度强化学习的动态环境下的最大化系统效益方法

说明书

本发明设计了一种基于深度强化学习的移动边缘计算架构下为动态用户提供低延时高可靠的计算服务的无人机路径规划方法。考虑无人驾驶飞机具有便捷的基础设施，且可在偏远或灾难区域快速搭建通信渠道，也可架栽计算资源为终端移动用户提供服务，因此考虑将无人机当作移动计算服务器，在终端移动用户的上方为其提供高效的交互服务。本发明考虑到终端用户的实时移动，将其建模成高斯‑马尔科夫移动模型，再通过对用户位置状态、无人机位置状态、无人机电池量状态以及无人机与用户之间的信道状态进行建模，结合深度强化学习算法规划无人机路径最大化系统长期效益。

技术领域

本发明涉及通信行业的移动边缘计算领域，现在正在兴起的无人机领域，以及计算机行业的基于神经网络的深度强化学习算法领域。

背景技术

随着通信技术的高速发展，为了给终端实时移动用户提供高质量服务，坐落于网络系统边缘区域的移动边缘技术(Mobile Edge Computing,MEC)应运而生，其可利用无线接入网络就近提供终端移动用户所需的高性能、低延迟与高带宽服务，让终端用户享有不间断的高质量网络体验。然而，近年来随着终端用户智能设备的指数级增长，其产生的数据服务请求数量也随之激增，传统的移动边缘计算服务已无法为终端用户提供所需的计算服务。同时，可利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机—无人机(Unmanned Aerial Vehicle,UAV)引起广泛关注。基于无人机的移动边缘计算框架能够在敌对环境中提供更加灵活、成本更低的计算服务，它不需要其他基础设施便可作为移动云层设备，所以基于无人机的移动边缘技术架构能够为用终端移动户提供更好的计算服务。

本发明将对基于终端用户实时移动，并考虑用户公平性约束和无人机能量约束的无人机协助的移动边缘计算架构的最大化系统长期奖励方法，合理规划无人机路径算法进行说明。

发明内容

发明目的：基于终端用户实时移动性的无人机路劲规划算法，考虑终端移动用户的公平性约束和无人机的能量约束两种限制条件，本发明设计了一种基于深度强化学习的最大化系统长期奖励。

技术方案：本发明提出的无人机路径规划方法，主要包括以下几个步骤。

步骤一：建立用户移动模型(Gauss-Markov Random Model,GMRM)

本发明的系统模型中包含N个初始位置随机分布的用户，考虑高斯-马尔科夫移动模型，第n个用户的速度v_n(t)与角度θ_n(t)分别为：

其中κ₁，κ₂用来调整先前状态对当前时刻状态的影响程度。所以，第t时刻的din个用户的位置状态为：

此外，无人机仅可在空中的M个固定感知接入点(Fixed Perceptual AccessPoints，FPAPs)盘旋为终端移动用户提供计算服务，因此第t时刻无人机的位置状态为：

步骤二：建立无人机能量消耗模型

无人机在消耗完一次自身电池量服务终端移动用户之前，每次服务都会产生三种能量消耗：

·无人机飞行能耗：考虑无人机固定飞行速度V以及飞行功率P_f，第t时刻的无人机飞行能耗只与无人机每个时隙的从一个FPAP给到另一个FPAP的飞行距离相关