[发明专利]基于深度Q学习的移动边缘计算中卸载决策方法及系统有效
申请号: | 202210427768.1 | 申请日: | 2022-04-22 |
公开(公告)号: | CN114706631B | 公开(公告)日: | 2022-10-25 |
发明(设计)人: | 杨柱天;朱伟强;杨蔚;佟令宇;杨佳敏;陈迪 | 申请(专利权)人: | 哈尔滨工业大学;中国航天科工集团八五一一研究所 |
主分类号: | G06F9/445 | 分类号: | G06F9/445;G06N3/04;G06N3/08 |
代理公司: | 哈尔滨华夏松花江知识产权代理有限公司 23213 | 代理人: | 岳昕 |
地址: | 150001 黑龙*** | 国省代码: | 黑龙江;23 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 深度 学习 移动 边缘 计算 卸载 决策 方法 系统 | ||
1.基于深度Q学习的移动边缘计算中卸载决策方法,其特征在于,所述方法具体包括以下步骤:
步骤一、强化学习模型构建
根据任务特性构建马尔可夫决策过程中的系统状态、系统动作和奖励函数;
所述系统状态的构建方式为:
将当前时隙t开始时移动设备m的自身任务大小表示为λm(t),若当前时隙t开始时移动设备m存在新的任务k(t),则λm(t)=k(t),否则λm(t)=0,m=1,2,…,M0,M0代表移动设备的总个数;
构建本地计算队列、任务传输队列和边缘节点计算队列,将当前时隙t开始时移动设备m的自身任务在本地计算队列中需要等待的时隙数表示为将当前时隙t开始时移动设备m的自身任务在任务传输队列中需要等待的时隙数表示为将移动设备m在边缘节点n处的队列长度表示为
构建表示当前时隙t之前的T个时隙内每个边缘服务器负载水平的矩阵M(t),M(t)的维度为T×N,N是边缘服务器的个数,T≤T0,T0表示总时隙个数;
则移动设备m在当前时隙t处观察到的系统状态sm(t)为:
所述系统动作表示为a(t)={0,1,2,…,N},其中,0表示本地计算,k=1,2,…,N,k表示卸载的边缘服务器的序号;
所述奖励函数的构建方式为:
若任务被决策为本地计算,则任务等待的时隙数为:
其中,表示在时隙t′产生的任务在本地执行完成后的时刻;
任务本地计算中所需要的能量为:
其中,εm代表移动设备m本地计算时CPU的能耗系数,即本地CPU计算一个周期所消耗的能量,dm代表移动设备m当前产生的任务的计算量大小,即执行当前产生的任务需要的CPU计算周期数;
设置移动用户m对于时延和能耗的偏好系数分别为和那么移动用户m在卸载决策过程中的奖励函数为:
其中,R为奖励函数值,T为移动用户m在本地计算时产生的总时延,即T等于任务排队等待的时隙数目与任务在本地执行过程中产生的时延之和,E为移动用户m产生的总能耗,即
若任务被决策为边缘计算,则任务等待的时隙数通过在边缘服务器n执行完成后的时刻来计算,即任务等待的时隙数为n=1,2,…,n0,n0代表边缘服务器的总个数;
任务边缘计算中所需要的能量包括任务上传和任务执行两个部分,将任务上传时移动设备的功率表示为pup,将任务执行时移动设备的功率表示为pe,则对于移动设备m,所需要的能量为:
其中,tn,up代表移动设备m将任务上传到边缘服务器n中消耗的时间,tn,e代表移动设备m在边缘服务器n中执行任务所消耗的时间;
此时,用户在卸载决策过程中的奖励函数为:
其中,R为奖励函数值,T是任务排队产生的总时延任务上传到边缘服务器n产生的时延tn,up以及任务在边缘服务器n执行产生的时延tn,e的和,E是边缘计算产生的总能耗,即
若在任务执行完成前已经达到了任务所允许的最大延迟时间,则任务被丢弃,将此时的奖励函数值R设定为一个固定的惩罚值P;
步骤二、神经网络构建
构建包括输入层、LSTM层、第一FC层、第二FC层和输出层的神经网络,输入层用于将系统状态信息传递给LSTM层和第一FC层,并将LSTM层的输出作为第一FC层的输入;
再将第一FC层的输出作为第二FC层的输入,将第二FC层的输出作为输出层的输入;
所述LSTM层用于根据矩阵M(t)预测边缘服务器负载水平的时间相关性;
所述第一FC层和第二FC层用于学习系统状态到系统动作奖励函数值的映射,第一FC层和第二FC层均包含一组具有整流线性单元的神经元。
2.根据权利要求1所述的基于深度Q学习的移动边缘计算中卸载决策方法,其特征在于,所述输出层用于输出当前系统状态采用当前选择的动作对应的奖励函数值。
3.基于深度Q学习的移动边缘计算中卸载决策系统,其特征在于,所述系统用于执行权利要求1或权利要求2所述的基于深度Q学习的移动边缘计算中卸载决策方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于哈尔滨工业大学;中国航天科工集团八五一一研究所,未经哈尔滨工业大学;中国航天科工集团八五一一研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210427768.1/1.html,转载请声明来源钻瓜专利网。