[发明专利]基于深度强化学习的多用户边缘计算优化调度方法

说明书

基于深度强化学习的多用户边缘计算优化调度方法，步骤为：计算出用户任务的本地计算延迟和边缘计算延迟；根据本地计算延迟和边缘计算延迟建立计算任务卸载目标函数，将目标函数划分为两个子问题：（1）任务调度；（2）卸载决策和边缘服务器选择；利用任务调度算法获得子问题（1）的最优解，利用深度强化学习方法获得子问题（2）的最优解，结合两个子问题的最优解形成最优的多用户边缘计算调度方案。本发明适用于大量用户任务卸载、多MEC服务器服务的情况，利用深度强化学习算法在动态环境中快速、准确地获得用户最优卸载决策和边缘服务器选择策略，通过对卸载到边缘服务器的任务进行合理排序，进一步降低任务的计算时延，同时保障服务器性能。

技术领域

本发明涉及无线通信技术领域，尤其涉及一种基于深度强化学习的多用户边缘计算优化调度方法。

背景技术

随着物联网的快速发展和智能终端的广泛普及，新型网络服务和应用不断涌现，用户对于网络服务质量、网络请求时延的要求越来越高，网络带宽和时延逐渐成为云计算的瓶颈，云计算模型已无法解决现有问题，移动边缘计算(Mobile Edge Computing,MEC)技术应运而生。尽管MEC服务器具有强大的计算能力，然而其资源受限，当多个任务到达MEC服务器时，会造成拥塞现象，产生不必要的延迟。因此对任务进行合理的调度，是很有必要的。

发明内容

本发明针对上述背景技术中存在的问题，以任务计算延迟最小化为目标，同时考虑了任务合理的执行顺序，提出了一种于深度强化学习的多用户边缘计算优化调度方法。

基于深度强化学习的多用户边缘计算优化调度方法，适用于多用户多边缘服务器的边缘计算系统，基于最小化总延迟原则，并根据深度强化学习策略，设计了最优的任务执行顺序，其具体步骤如下：

步骤一，对于拥有多个用户和多个边缘服务器的边缘计算系统，通过用户的边缘服务器选择策略和用户的卸载策略，计算出用户任务的本地计算延迟和边缘计算延迟；

步骤二，根据本地计算延迟和边缘计算延迟建立计算任务卸载目标函数，将目标函数划分为两个子问题：任务调度；卸载决策和边缘服务器选择；

步骤三，利用任务调度算法获得任务调度的最优解，利用深度强化学习方法获得卸载决策和边缘服务器选择的最优解，结合两个子问题的最优解形成最优的多用户边缘计算调度方案。

进一步地，步骤一中，系统中共有M个移动用户，N个边缘服务器MEC，N个MEC服务器为M个用户提供计算服务；用n表示MEC服务器的索引，m表示用户的索引；每个用户选择一个服务器进行任务卸载；用矩阵α_m，t＝[α_m，1，t，α_m，2，t，…，α_m，n，t，…，α_m，N，t]表示t时隙用户m的MEC选择策略，其中α_m，n，t＝1表示t时隙用户m选择MEC服务器n进行计算任务卸载，α_m，n，t＝0表示t时隙用户m未选择MEC服务器n，用向量β_m，t∈{0，1}表示t时隙用户m的卸载决策，β_m，t＝1表示用户m选择在本地计算，β_m，t＝0表示用户m选择边缘计算。

进一步地，步骤一中，用表示t时隙用户m任务卸载到本地的计算延迟，按下式计算：

其中，参数λ_m，t表示t时隙用户m的任务数据量；F_m表示本地设备的处理能力，单位为CPU周期数/秒；ρ表示处理1bit数据所需的CPU周期数。

进一步地，步骤一中，用表示用户m在t时隙任务卸载到接收者MEC服务器n的边缘计算延迟；计算延迟包括传输延迟、排队延迟、处理延迟；

用R_m，n表示用户m向接收者MEC n卸载任务的数据速率，按下式计算：