[发明专利]一种基于深度双Q学习的移动边缘计算系统能源分配方法

说明书

本发明公开了一种基于深度双Q学习的移动边缘计算系统能源分配方法，包括以下步骤：将移动边缘计算系统的能源分配过程转化为马尔可夫决策过程，所述马尔可夫决策过程包括系统状态s、系统动作a、动作值函数Q(s,a)三个要素；通过基于深度双Q学习的能源分配算法，预测动作值函数的精确值，选择最大动作值函数所对应的动作，得到最优能源分配策略，完成移动边缘计算系统的能源分配。本发明将深度双Q学习(DDQN)应用于移动边缘计算系统的能源分配，通过深度双Q学习(DDQN)算法求解最优能源分配，实现边缘计算系统服务器的长期可持续计算的效益最大化。

技术领域

本发明属于移动边缘计算系统的能源分配技术领域，具体涉及一种基于深度双Q学习的移动边缘计算系统能源分配方法。

背景技术

ETSI将移动边缘计算概念阐述为“可在靠近移动用户的无线接入网络(RadioAccess Network,RAN)边缘提供IT服务环境和云计算能力的新型平台。MEC通过将远端云数据中心下沉到无线网络边缘,打破了传统的以无线接入网、核心骨干网络、应用网络相互连接而形成的三层架构,实现了无线侧与应用侧的融合。

由于移动边缘计算(MEC)具有能实现计算/存储业务的本地化、以低时延处理任务请求、无线信息/内容感知等技术特征,因此,具有十分丰富的应用场景,比如:(1)密集计算辅助、(2)视频/文件缓存、(3)车联网等。

由于移动边缘计算需要在城市中配置数以百万的小型服务器，为降低其电力成本，可再生能源驱动的移动边缘系统成为新的研究方向。如何分配系统能源，实现可持续计算效益的最大化成为了新的挑战。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于深度双Q学习的移动边缘计算系统能源分配方法，将移动边缘计算系统的能量分配过程转化为马尔可夫决策过程，通过深度双Q学习算法求解最优能源分配，实现边缘计算系统服务器的长期可持续计算的效益最大化。

为了达到上述目的，本发明采用以下技术方案：

本发明提供的一种基于深度双Q学习的移动边缘计算系统能源分配方法，包括以下步骤：

将移动边缘计算MEC系统的能源分配过程转化为马尔可夫决策过程，所述马尔可夫决策过程包括系统状态s、系统动作a、动作值函数Q(s,a)三个要素；所述系统状态的改变由到达事件引发，到达事件分为任务到达事件、能源到达事件和任务完成事件，任务到达事件到达时，MEC系统会采取相应的系统动作；

通过基于深度双Q学习的能源分配算法，预测动作值函数的精确值，选择最大动作值函数所对应的系统动作，得到最优能源分配策略，完成移动边缘计算系统的能源分配；

所述能源分配算法包括以下步骤：

初始化Q网络及其参数；

将当前系统状态s的特征向量φ(s)输入Q网络，得到Q网络所有系统动作对应的Q值输出，使用∈-贪婪法在当前Q值输出中选择对应的系统动作；

在当前系统状态s执行当前系统动作a，到达下一状态s′，得到新的系统状态s′对应的特征向量φ(s′)和奖励r；

将(s,a,r,s′)4元组存入经验回访集合D；

从经验集合D中随机抽取m个样本(s_j,a_j,r_j,s′_j),j＝1,2,,,m来训练Q网络，并计算当前目标Q值y_j；

计算训练Q网络的损失函数并更新Q网络参数；

更新目标Q网络参数与更新∈；

判断是否达到预设的训练次数，达到则结束，否则，重复执行初始化Q网络及其参数之后的步骤。