[发明专利]一种基于Multi-Agent强化学习的移动边缘计算卸载算法在审
申请号: | 202010497995.2 | 申请日: | 2020-06-04 |
公开(公告)号: | CN112015481A | 公开(公告)日: | 2020-12-01 |
发明(设计)人: | 肖德贵;郭涛 | 申请(专利权)人: | 湖南大学 |
主分类号: | G06F9/445 | 分类号: | G06F9/445;G06F9/50;G06N3/04 |
代理公司: | 北京同辉知识产权代理事务所(普通合伙) 11357 | 代理人: | 魏忠晖 |
地址: | 410082 湖南省*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 multi agent 强化 学习 移动 边缘 计算 卸载 算法 | ||
本发明公开了一种基于Multi‑Agent强化学习的移动边缘计算卸载算法,包括以下步骤:步骤1:确定环境输入数据并初始化算法参数,初始化参数包括每个Agent神经网络参数的设置,在算法中,每个移动设备都部署了Agent能够单独训练和推断的神经网络,对每个移动设备上的Agent网络设置了相同的参数。本发明解决现有算法迭代次数多、计算时间长以及无法适应高动态移动环境的问题,该算法具有一定灵活性,可以在有限时间内得到次优解,满足现代移动边缘计算中任务实时卸载的需求。
技术领域
本发明涉及计算机领域,特别涉及一种基于Multi-Agent强化学习的移动边缘计算卸载算法。
背景技术
随着5G移动网络和物联网的兴起,大量具有通信和计算能力的移动设备接入互联网中,同时海量的应用和服务也得以发展,例如增强现实、自动驾驶、图像处理以及云游戏等。由于受到设备物理大小的限制,移动设置只具备有限的电池容量和计算能力。因此面对计算密集型和能耗密集型应用,移动设备难以处理。为了解决移动设备计算资源不足的问题,可以将计算密集型应用卸载到远程服务器运行,然后将计算结果返回到移动设备,这就是云计算的模式,虽然云计算为移动设备提供了丰富的计算资源,但是由于云服务器和移动终端物理距离远,在任务传输过程中会出现较大延迟,从而严重影响用户体验。
近年来,移动边缘计算作为作为一种新的计算模式被提出,这一计算模式将计算资源部署在网络的边缘,也就是靠近移动设备的一端,为移动设备提供充足和灵活的计算服务。移动设备可以通过将计算任务卸载到边缘服务器,以此享受低延迟、高带宽、低能耗以及无以伦比的用户体验。其中,计算卸载是移动边缘计算中的关键技术,不同的卸载策略将会导致不同的用户体验,因此设计一种高效的移动边缘计算卸载算法是非常重要的。目前,已经有许多在移动边缘计算环境中进行计算卸载的算法:
a)坐标下降法、线性放松近似法以及博弈论,这些都属于传统数值算法,它们能够保证最优解,但是大量的迭代计算,并且在NP-hard问题上无法在有限时间内计算最优解,因此不适应移动边缘计算的实时卸载场景。
b)基于DQN或A3C的智能卸载算法可以在有限时间内得到次优解,但是随着网络状态和卸载决策数量的增多,会导致计算时间呈指数增长并且效果不佳。同时由于是中心式卸载算法,算法的灵活性较差。
基于上述算法存在的问题以及移动边缘计算中任务实时卸载的需求,本专利提出一种基于Multi-Agent强化学习的边缘计算实时卸载算法。
发明内容
本发明要解决的技术问题是克服现有技术的缺陷,提供一种基于Multi-Agent强化学习的移动边缘计算卸载算法。
为了解决上述技术问题,本发明提供了如下的技术方案:
本发明一种基于Multi-Agent强化学习的移动边缘计算卸载算法,包括以下步骤:
步骤1:确定环境输入数据并初始化算法参数
初始化参数包括每个Agent神经网络参数的设置,在算法中,每个移动设备都部署了Agent能够单独训练和推断的神经网络,对每个移动设备上的Agent网络设置了相同的参数,每个Agent包括actor network和critic network,为actor network设置了2层的全联接隐藏层,分别包括64和128个神经元,为critic network设置了3层全联接隐藏层,分别包括1024,512和300个神经元,隐藏层之间的激活函数设置为ReLU,actor network和criticnetwork的学习率分别为0.001和0.0001,设置Agent采样的批量大小为128,经验回放池的大小为1024,同时actor network和critic network的更新参数因子设置为0.01,设置了一个算法进行学习前的探索度,设置为300;
步骤2:Agent根据任务状态与移动边缘计算环境交互
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于湖南大学,未经湖南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010497995.2/2.html,转载请声明来源钻瓜专利网。