[发明专利]移动边缘计算环境下基于DRL的能耗感知任务卸载方法

说明书

本发明公开移动边缘计算环境下基于DRL的能耗感知任务卸载方法。本发明设计多eNB MEC环境下任务卸载问题的状态空间、行动空间和奖励函数。采用actor‑critic框架作为整个DRL‑E2D算法的基础结构，即主要包含actor和critic两个神经网络。同时将MD在环境下所观察到的状态作为actor输入，将actor输出的动作和状态作为critic网络输入。本发明结合强化深度学习相关知识并将截止时间约束考虑到奖励函数中，使得MD可以根据系统状态在限定任务期限的情况下做出能将其任务卸载给多个eNB的最优决策。

技术领域

本发明属于移动边缘计算技术领域，涉及移动边缘计算中的能耗感知任务卸载决策方法，特别是在截止时间约束下的基于DRL的无模型任务卸载决策方法。

背景技术

随着无线网络的发展，越来越多的移动应用开始出现，并受到了巨大的欢迎。这些移动应用涵盖了广泛的领域，如交通监控、智能家居、实时视觉处理、目标跟踪等，通常需要计算密集型资源来实现高质量的体验(QoE)，尽管移动设备(MDs)的性能不断提高，但在单个MD上运行所有应用程序仍然会导致高能耗和延迟。移动边缘计算(Mobile EdgeComputing,MEC)已经成为解决这个问题的有希望的技术，与使用远程公共云的传统云计算系统相比，它提供了无线接入网络内的计算能力。MEC的出现允许MD将其计算密集型任务卸载到近端eNodeBs(eNBS)以增强计算能力。目前在MEC环境下的任务或计算卸载已经得到广泛的研究。传统的卸载方案是基于模型的即通常假设MD和eNB之间的移动信号建模良好。然而，MEC环境非常复杂，用户的移动能力高度动态，使得移动模型难以构建和预测。而随着深度强化学习(DRL)产生，越来越多的研究人员将其应用在MEC下的任务卸载，其好处有三个方面:1)DRL是一种无模型优化方法，不需要任何基于模型的数学知识；2)它可以解决高动态时变系统中的优化问题；3)它可以处理大的状态和动作空间问题。上述特征表明DRL是MEC实现任务卸载的理想方法。但是，应用DRL技术进行MEC任务卸载应考虑和解决以下问题：首先，提出的高密度eNBS的MEC任务卸载问题是一个大的离散动作空间问题。例如，MEC中有5个e NBS用于MD卸载20个任务，则存在5万多个卸载操作。在这种情况下，基于深度神经网络(DQN)的DRL不能很好地工作，因为它只具有处理小动作空间问题的潜力。第二，任务卸载是一个离散的控制问题，因此例如深度确定性策略梯度(DDPG)的连续控制方法将无法正常工作。并且上述所有方法都以任务处理时间作为平均性能需求，并没有考虑到任务的截止运行时间，这是不合理的。因此，针对目前的任务卸载方案的奖励函数主要集中在基于平均的性能度量上，未能满足任务的截止时间约束。本发明提出一种移动边缘计算境下的基于DRL的能耗感知任务卸载方法(DRL-E2D)，该方法是基于深度强化学习技术从未知环境中学习最优决策，从而使得MD在满足任务截止时间约束下最大化任务卸载效用。

发明内容

本发明针对目前的技术的不足，提出一种移动边缘计算环境下基于DRL的能耗感知任务卸载方法。

本发明方法的大体思想是：

多eNB MEC环境的任务卸载架构，主要由一个MD和多个eNB所组成。其中，MD在每个时间段内都可能产生一定数量的任务，并且每个任务都可以通过无线网络卸载到任意地一个eNB上执行。因此，合理的卸载方案非常重要，这直接影响到任务的执行时间和MD的能耗。针对目前绝大多数任务卸载方案的奖励函数未考虑任务的截止时间约束的情况，本发明将截止时间约束与MD完成任务的效用结合在一起，并考虑MD的能耗与任务丢弃惩罚，设计一种联合奖励函数用于处理该优化问题。