[发明专利]一种基于深度强化学习的边云协同串行任务卸载方法

说明书

本发明公开了一种基于深度强化学习的边云协同串行任务卸载方法，包括S1：用户设备产生串行任务，并发送任务卸载请求至MEC服务器；S2：MEC服务器接收到用户设备发送的任务卸载请求后，获取当前系统状态；通过计算获得权重向量，并根据当前状态，得到最优卸载策略；S3：根据得到的最优卸载策略，执行卸载任务。本发明通过对串行任务的权重分配，实现了网络边缘和云端协同的串行任务动态分配处理，为不同的用户设备应用提供低时延高能效的任务卸载服务。

技术领域

本发明涉及移动边缘计算领域，尤其涉及一种基于深度强化学习的边云协同串行任务卸载方法。

背景技术

近年来，移动应用程序在各行各业都有着广泛的应用，尽管当下云服务很受欢迎，但在实现诸如媒体处理、在线游戏、增强现实、虚拟现实和在无处不在的移动设备中执行各种创新移动应用程序的时间、能量、成本和安全性等相关要求方面仍存在一些困难和挑战。由于这些无处不在的移动设备的自然资源限制，为了运行这种需要低延迟和高数据速率的资源需求应用程序，产生了一种崭新的计算模式——移动边缘计算。

MEC场景中，通过在用户设备周围的无线基站部署MEC(Mobile Edge Computing)服务器，将处于远距离云端的计算资源延伸至网络边缘，为用户设备提供物理距离更近的服务，从而降低由网络延迟造成的任务时延，同时也可以缓解应用数据传输对核心网造成的压力。当进行任务卸载操作时，用户设备将计算任务数据通过无线基站传输至MEC服务器上进行计算，MEC服务器完成计算后将计算结果返回至用户设备，从而完成一次任务卸载操作，如此可以使得用户应用获得更低的延迟体验，变相地增加用户设备应用程序可以拥有的计算能力。

但与此同时，大量的研究[3-10]都是基于用户设备与MEC服务器之间的任务卸载，并未考虑云端依旧拥有大量的计算资源，并且能够针对特定场景优化计算环境，在大量移动设备和物联网设备的高度计算资源需求的情况下，仅依靠MEC服务器进行计算也是难以完成的，仍然会出现资源瓶颈。所以在考虑用户设备与MEC服务器之间的网络边缘任务卸载的同时，还需要云端的强大计算能力来辅助MEC服务器，通过边云协同来共同为移动设备提供相对低时延高计算能力的服务。由于云端需要考虑网络传输时延和特定任务需求，在进行任务细粒度卸载时，对任务不同的环节需要有优先级考量，这也使得整个任务卸载工作的复杂程度增加。文献1：基于DQN的车载边缘网络任务分发卸载算法[J].通信学报,2020,41(10):172-178，提出了一种AHP和DQN相结合的任务卸载算法，解决在车辆网环境下车载设备与MEC服务器间的任务卸载问题。文献2：基于深度强化学习的移动边缘计算任务卸载研究[J].计算机研究与发展,2020,57(07):1539-1554，基于LSTM和HER改进深度学习算法，解决单用户多服务器的任务卸载问题，对能耗时延费用等多种指标进行比较。文献3：Distributed deep learning-based offloading for mobile edge computing networks[J].Mobile Networks and Applications,2018:1-8，提出了一种基于DQN的MEC环境下的多任务卸载和资源分配算法，通过此方法，将混合整数非线性规划转变为一个RL问题，以找到了最佳的解决方案。然而上述方案只针对的是用户设备和MEC服务器之间的任务卸载调度，同时在任务调度方面，大部分方案仅考虑粗粒度卸载，其灵活性低，运行效率不高，在资源利用、系统效能上存在一定的局限性。

发明内容

本发明的目的在于克服现有技术的不足，针对带有优先级场景中移动边缘服务器和云端服务器协同下的多用户设备串行任务卸载问题，考虑了延迟、能耗成本和服务质量保证等因素，通过对串行任务的权重分配，实现了网络边缘和云端协同的串行任务动态分配处理，实现对复杂场景下能耗和时延的优化，提供一种基于深度强化学习的边云协同串行任务卸载方法。

本发明的目的是通过以下技术方案来实现的：

一种基于深度强化学习的边云协同串行任务卸载方法，包括以下步骤：