[发明专利]一种基于强化学习的云边融合网络任务卸载方法

说明书

本发明提供一种基于强化学习的云边融合网络任务卸载方法，包括以下步骤：S1：各个智能设备在当前边缘场景下向本地边缘服务器发送任务请求；S2：本地边缘网关实时感知本地边缘服务器的计算资源，当计算资源不足时，向企业云服务器发送任务卸载请求，由企业云服务器通过强化学习算法确定最优任务卸载策略；S3：本地边缘网关根据最优任务卸载策略获取指定的临近边缘服务器的控制权限，并将任务拆分到对应的临近边缘服务器上辅助执行；S4：各个临近边缘服务器将执行结果回传到本地边缘服务器，由本地边缘服务器汇总形成任务执行结果反馈至发送任务请求的智能设备。其效果是：可以以最短时延和最小计算成本为优化目标，实现卸载策略的优化。

技术领域

本发明涉及网络通信技术，尤其涉及一种基于强化学习的云边融合网络任务卸载方法。

背景技术

随着互联网技术的深入与移动通信技术的高速发展，智能化终端已经广泛应用在社会生活中。终端的大量增加，使得数据量急剧增长。由于传统云计算需要高度依赖核心网络，数据量庞大时，会造成高延迟等问题。而智能终端自身资源及计算性能有限，时常面临计算能力不足的情况。为此，将边缘服务器与传统云计算结合，在用户终端附近放置边缘服务器为资源受限设备运行计算密集型应用提供计算资源。然而，单个边缘场景下，边缘服务器往往具有轻量化的特点，智能终端数量的增长会使单个边缘场景中的服务器无法承受。如何在云平台的帮助下，在边缘侧，对多边缘场景中的服务器进行分布式任务处理成为边缘计算亟需解决的问题。

发明内容

针对上述需求，本发明提供了一种基于强化学习的云边融合网络任务卸载方法，使其能够提高计算卸载效率，以最短时延和最小计算成本为优化目标实现任务卸载。

为实现上述目的，本发明所采用的具体技术方案如下：

一种基于强化学习的云边融合网络任务卸载方法，其关键在于，包括以下步骤：

S1：各个智能设备在当前边缘场景下向本地边缘服务器发送任务请求；

S2：本地边缘网关实时感知本地边缘服务器的计算资源，当计算资源不足时，向企业云服务器发送任务卸载请求，由企业云服务器通过强化学习算法确定最优任务卸载策略；

S3：本地边缘网关根据最优任务卸载策略获取企业云服务器所指定的临近边缘服务器的控制权限，并将任务拆分到对应的临近边缘服务器上辅助执行；

S4：各个临近边缘服务器将执行结果回传到本地边缘网关，由本地边缘服务器汇总形成任务执行结果反馈至发送任务请求的智能设备。

可选地，智能设备向本地边缘服务器发送任务请求描述为：

其中，d_i代表计算任务T_i的输入数据大小，包括程序代码和输入参数；代表任务计算完成后的输出数据大小；C_i代表完成计算所需的CPU周期数；代表计算任务T_i可以容忍的最大延迟；

则本地边缘网关按照：计算在时隙t内本地边缘服务器处理任务T_i的执行时间其中F_loc(t)表示本地边缘服务器在时隙t内的计算能力；如果则认定为计算资源不足，本地边缘网关向企业云服务器发送任务卸载请求；否则，由本地边缘服务器在本地执行。

可选地，各个边缘服务器根据当前边缘场景下各个智能设备的任务请求情况确定自身标签状态STAG_i；STAG_i＝1，表示第i个边缘服务器具备计算资源接收其它边缘服务器的卸载任务；STAG_i＝0表示第i个边缘服务器不具备计算资源接收其它边缘服务器的卸载任务。

可选地，如果本地边缘服务器在时隙t内将任务T_i中的第m个子任务卸载到第j个临近边缘服务器上执行，则第m个子任务的执行时间为：