[发明专利]一种基于强化学习的边缘计算工作负载调度方法

说明书

本发明涉及一种基于强化学习的边缘计算工作负载调度方法，本发明首先从影响边缘计算工作负载调度众多因素中选定关键指标来表示状态属性。对所有关键指标按照低、中和高三个等级的进行量化，并构建状态空间，保证每个状态的唯一性。根据每个状态来选择动作，即调度至哪个服务器执行。构建奖惩函数，用于反映选定行为的执行效果。将状态空间和动作空间整合形成Q值表，在每个调度选择动作决策的过程中，智能体使用策略来选择动作，并且通过不断更新Q值表，从而更快地向最优方向收敛，加快收敛速度，使得其Q值不断朝着最优方向逼近。通过本发明可有效均衡边缘服务器工作负载，减少任务服务时间和失败率，从而优化服务质量和提高资源效率。

技术领域

本发明涉及边缘计算技术领域，具体涉及一种基于强化学习的工作负载调度方法。

背景技术

在边缘计算中，移动设备可以将任务卸载至边缘服务器上执行，有效地解决了移动设备资源不足的问题。然而，边缘环境中设备众多、应用多样、移动性高、网络异构、间歇流量和随机访问等特点。这些来自移动设备的任务存在随机性且分布不均匀，容易导致边缘服务器之间的工作负载不均衡问题。例如，当大量任务同时卸载到本地边缘服务器时，很容易造成单个边缘服务器瘫痪和本地网络拥塞，导致卸载任务失败；而周边其他边缘服务器可能处于空闲状态，资源未充分利用。因此，如何有效地调度任务，解决服务器工作负载不均衡，减少任务服务时间和失败率对于优化服务质量和提高资源效率至关重要。

发明内容

本发明是目的是为了解决现有的边缘计算中服务器之间工作负载不均衡，任务处理时间长、任务失败率高等问题，从而最大限度地提高资源利用率和系统性能。

为了实现上述发明目的，本发明所采用的技术方案为：

(1)选定关键指标

在边缘计算系统中对任务调度产生影响的主要由边缘服务器、网络和任务本身三方面因素，而描述这些影响因素对应于数以千个时变参数。为了精准的描述系统状态，并且避免状态空间过于庞大。选取对任务调度最为关键指标来表示当前状态s_t：

其中，表示当前本地服务器CPU利用率；表示当前CPU利用率最低的邻近边缘服务器；表示当前广域网带宽；表示当前城域网带宽；表示当前无线局域网带宽；c_i表示完成当前任务所需的CPU指令数；α_i表示当前任务的大小。

(2)量化关键指标并构建状态空间

由于上述关键指标来自不同方面数值变量，为了进一步简化状态空间，需要对上述关键指标进行量化，并将每个指标按照相应的数值变量分为低(L),中(M)和高(H)三个等级。因此，对于每个状态来说在状态空间里唯一的。

状态空间可以表示为：S＝{s₁,s₂…s_n}

(3)构建动作空间

当任务到达时，智能体根据当前的状态来选择动作，即调度至哪个服务器执行。因此，对应于状态空间中的每个状态都有相应的多个动作，这些动作构建成动作空间。动作空间包含每个状态下所有可执行的动作，其中包括将任务调度至本地边缘服务器、多个邻近边缘服务器或云端服务器执行。为了简化动作空间，在邻近边缘服务器中选择负载最小的邻近边缘服务器。因此，动作空间简化为：

A_t＝{a_l,a_e,a_c}

其中，a_l表示将任务调度至本地边缘服务器执行；a_e表示将任务调度至福州最小的邻近边缘服务器执行；a_c表示将任务调度至云端服务器执行。

(4)制定奖惩函数