[发明专利]基于深度强化学习的卸载调度与资源分配方法

说明书

本发明具体涉及基于深度强化学习的卸载调度与资源分配方法，包括：获取设定时段内所有用户端的所有任务及其对应的信道增益；将所有任务的相关信息输入设置的调度分配模型中，根据任务的相关信息、用户端和边缘服务器的计算资源以及对应的信道增益，通过深度强化学习法生成用以完成卸载调度和资源分配的调度分配方案，并计算调度分配方案的总时延和总能量消耗作为总效能；以调度分配方案的总效能最小为目标不断优化所述调度分配模型的模型参数以得到最优的调度分配方案进行任务的卸载调度，并为任务分配对应的计算资源。本发明中的卸载调度与资源分配方法能够有效实现卸载调度和资源分配且能够适应高度动态变化场景。

技术领域

本发明涉及边缘计算和深度学习技术领域，具体涉及基于深度强化学习的卸载调度与资源分配方法。

背景技术

目前，网络直播、流量监控、VR/AR技术等计算密集型任务给传统端-云网络架构(用户端和云计算中心)带来了巨大的挑战。计算密集型任务消耗的能量和时延远大于网页浏览、资料查询等非计算密集型任务。在传统的端-云(Mobile Cloud Computing,MCC)网络架构中，用户通过无线网络或无线接入点(Access Point，AP)将海量的计算密集型任务传输至云端进行计算，最后将计算结果通过传回网络返回终端设备。此时，传输数据的准确性和丢失率会受到传输信道的影响，同时传输过程所花费的时延开销增大，用户上传至云端数据会变为共享状态，无法保障用户数据的隐私性。

随着5G时代不断地普及，对实时性任务要求达到更高，通常传输速度要求在1000Mbps以上，网络延迟时延以毫秒量级为衡量单位。因此，出现了端(移动用户端)-边(边缘服务器)-云(云网络)(end-Edge-cloud)协同运行网络架构，移动边缘计算(Mobile EdgeComputing，MEC)也应运而生。例如，公开号为CN110347500A的中国专利就公开了《一种用于边缘计算环境中面向深度学习应用的任务卸载方法》，其首先将深度神经网络划分为若干个模型分块，采集系统中的相关数据并分析相应的特征；将得到的特征数据作为输入参数，建立M/M/n排队模型，得到终端设备层和边缘服务器层的平均任务数的期望，及任务在终端设备上开始执行以及将任务直接卸载到边缘服务器上开始执行的任务完成时间期望；以上述两个期望的最小最大值为目标函数，构建最小化任务执行时间的优化模型；使用启发式算法求解优化模型，得到最优卸载方案。

上述现有方案中的任务卸载方法针对不同的深度学习应用提出多模式，细粒度的个性化任务卸载方案，最小化任务完成时间，能够在一定程度上提高终端设备的资源利用率。然而，申请人发现除(计算)卸载调度外，(移动)用户端和边缘服务器的(计算)资源分配也是影响任务处理效率和效果的关键，因此在考虑卸载调度的同时还需要考虑资源分配问题。同时，端-边-云网络架构场景是一个高度动态环境，其复杂度很高，然而，现有的任务卸载方法难以有效适应这种高度动态变化的场景，导致卸载调度和资源分配的可靠性和合理性难以得到保证。因此，申请人设计了一种能够有效实现卸载调度和资源分配且能够适应高度动态变化场景的卸载调度与资源分配方法。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种能够有效实现卸载调度和资源分配且能够适应高度动态变化场景的卸载调度与资源分配方法，从而能够提升端-边-云网络架构场景的运行效果。

为了解决上述技术问题，本发明采用了如下的技术方案：

基于深度强化学习的卸载调度与资源分配方法，包括以下步骤：

S1：获取设定时段内所有用户端的所有任务及其对应的信道增益；

S2：将所有任务的相关信息输入设置的调度分配模型中；所述调度分配模型根据任务的相关信息、用户端和边缘服务器的计算资源以及对应的信道增益，通过深度强化学习法生成用以完成卸载调度和资源分配的调度分配方案，并计算调度分配方案的总时延和总能量消耗作为总效能；