[发明专利]一种基于Multi-Agent强化学习的移动边缘计算卸载算法在审

专利信息
申请号: 202010497995.2 申请日: 2020-06-04
公开(公告)号: CN112015481A 公开(公告)日: 2020-12-01
发明(设计)人: 肖德贵;郭涛 申请(专利权)人: 湖南大学
主分类号: G06F9/445 分类号: G06F9/445;G06F9/50;G06N3/04
代理公司: 北京同辉知识产权代理事务所(普通合伙) 11357 代理人: 魏忠晖
地址: 410082 湖南省*** 国省代码: 湖南;43
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 multi agent 强化 学习 移动 边缘 计算 卸载 算法
【说明书】:

本发明公开了一种基于Multi‑Agent强化学习的移动边缘计算卸载算法,包括以下步骤:步骤1:确定环境输入数据并初始化算法参数,初始化参数包括每个Agent神经网络参数的设置,在算法中,每个移动设备都部署了Agent能够单独训练和推断的神经网络,对每个移动设备上的Agent网络设置了相同的参数。本发明解决现有算法迭代次数多、计算时间长以及无法适应高动态移动环境的问题,该算法具有一定灵活性,可以在有限时间内得到次优解,满足现代移动边缘计算中任务实时卸载的需求。

技术领域

本发明涉及计算机领域,特别涉及一种基于Multi-Agent强化学习的移动边缘计算卸载算法。

背景技术

随着5G移动网络和物联网的兴起,大量具有通信和计算能力的移动设备接入互联网中,同时海量的应用和服务也得以发展,例如增强现实、自动驾驶、图像处理以及云游戏等。由于受到设备物理大小的限制,移动设置只具备有限的电池容量和计算能力。因此面对计算密集型和能耗密集型应用,移动设备难以处理。为了解决移动设备计算资源不足的问题,可以将计算密集型应用卸载到远程服务器运行,然后将计算结果返回到移动设备,这就是云计算的模式,虽然云计算为移动设备提供了丰富的计算资源,但是由于云服务器和移动终端物理距离远,在任务传输过程中会出现较大延迟,从而严重影响用户体验。

近年来,移动边缘计算作为作为一种新的计算模式被提出,这一计算模式将计算资源部署在网络的边缘,也就是靠近移动设备的一端,为移动设备提供充足和灵活的计算服务。移动设备可以通过将计算任务卸载到边缘服务器,以此享受低延迟、高带宽、低能耗以及无以伦比的用户体验。其中,计算卸载是移动边缘计算中的关键技术,不同的卸载策略将会导致不同的用户体验,因此设计一种高效的移动边缘计算卸载算法是非常重要的。目前,已经有许多在移动边缘计算环境中进行计算卸载的算法:

a)坐标下降法、线性放松近似法以及博弈论,这些都属于传统数值算法,它们能够保证最优解,但是大量的迭代计算,并且在NP-hard问题上无法在有限时间内计算最优解,因此不适应移动边缘计算的实时卸载场景。

b)基于DQN或A3C的智能卸载算法可以在有限时间内得到次优解,但是随着网络状态和卸载决策数量的增多,会导致计算时间呈指数增长并且效果不佳。同时由于是中心式卸载算法,算法的灵活性较差。

基于上述算法存在的问题以及移动边缘计算中任务实时卸载的需求,本专利提出一种基于Multi-Agent强化学习的边缘计算实时卸载算法。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷,提供一种基于Multi-Agent强化学习的移动边缘计算卸载算法。

为了解决上述技术问题,本发明提供了如下的技术方案:

本发明一种基于Multi-Agent强化学习的移动边缘计算卸载算法,包括以下步骤:

步骤1:确定环境输入数据并初始化算法参数

初始化参数包括每个Agent神经网络参数的设置,在算法中,每个移动设备都部署了Agent能够单独训练和推断的神经网络,对每个移动设备上的Agent网络设置了相同的参数,每个Agent包括actor network和critic network,为actor network设置了2层的全联接隐藏层,分别包括64和128个神经元,为critic network设置了3层全联接隐藏层,分别包括1024,512和300个神经元,隐藏层之间的激活函数设置为ReLU,actor network和criticnetwork的学习率分别为0.001和0.0001,设置Agent采样的批量大小为128,经验回放池的大小为1024,同时actor network和critic network的更新参数因子设置为0.01,设置了一个算法进行学习前的探索度,设置为300;

步骤2:Agent根据任务状态与移动边缘计算环境交互

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于湖南大学,未经湖南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010497995.2/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top