[发明专利]MEC环境下基于强化学习的多接口自适应数据卸载方法

说明书

本发明公开了一种MEC环境下基于强化学习的多接口自适应数据卸载方法，包括以下步骤：将多个用户设备、边缘基站、服务器数据传输策略构成的环境，建模为一个有限状态的马尔科夫决策模型；基于马尔科夫决策模型构建奖励函数，使用多智能体深度强化学习算法对神经网络进行训练，获得最优决策动作，确定数据卸载的传输方式。强化学习可以实现无模型的状态到动作的高维映射关系的自学习，发明中基于强化学习获得多接口自适应数据卸载方法，有效的缓解服务器端的压力，提升网络资源利用率，达到缓解网络拥堵、降低端到端时延以及减少数据卸载传输能耗的目标。

技术领域

本发明涉及网络中数据传输技术领域，更具体的说是涉及一种MEC环境下基于强化学习的多接口自适应数据卸载方法。

背景技术

在移动互联网技术飞速发展的今天，越来越多的智能设备进入了人们的生活，一些对时间延迟要求较高的应用如移动高清视频、AR/VR等在使用过程中创造了大量的移动网络数据流量。呈爆炸式速度增长的数据流量给移动网络带来的压力和挑战是巨大的，其影响表现在：(1)巨大的回传网链路压力；(2)无线覆盖率低和能量效率低；(3)端到端的时间延迟较大。

随着技术的发展，云计算中心的服务能力也在不断提升，但联网的用户设备数量的增长速度呈几何级别，这使得传统的云计算模式无法很好地满足用户对低时延、高速率的需求，寻找一种比传统云计算模式更为高效的方式是解决当前问题的唯一途径。移动边缘计算(Mobile Edge Computing，MEC)模式的提出能够有效弥补传统云计算模式的不足。MEC是指在移动网络的边缘(即基站或终端)引入计算和存储资源，边缘与云计算中心合作为无线接入网络提供所需资源和计算服务。云计算中心的网络业务可以被移动边缘计算技术“下沉”到边缘，通过边缘侧来达到更接近用户的目的，不但减轻了云计算中心的负担，让一部分业务和数据能够在边缘端进行计算存储，而且还能降低数据传输时延，缓解网络拥堵。

另一方面，为了满足容量需求，内容服务供应商需要部署大量的基站，这无疑会消耗更多的基础设施成本。与此同时，通过蜂窝网络下载内容会产生相应的成本，所产生的成本只能由用户或内容服务供应商承担。为了解决上述问题，利用各种高容量、低成本的互补网络进行数据卸载，数据卸载是指使用互补的网络技术(例如：Wi-Fi 6、Femtocell(微蜂窝)等技术)来卸载原本传输在蜂窝网络(4G、5G通信网络)上的数据流量，缓解核心网传输压力和网络拥塞，提升网络吞吐量、网络传输效率及服务质量(Quality ofService，QoS)，降低端到端延时。由于网络的时变性、传输时延、传输能耗等因素，在多网络接口数据卸载中获得一个有效的数据卸载策略仍然是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种MEC环境下基于强化学习的多接口自适应数据卸载方法，应对边缘环境中网络环境变化时，基于静态调度的卸载策略存在实时性差的问题，同时基于边缘侧的卸载策略存在卸载失败率高的问题，从而导致工作流的调度产生时间延迟和能量消耗。强化学习可以实现无模型的、状态到动作的高维映射关系的自学习，接近人类的学习过程。发明中基于强化学习获得多接口自适应数据卸载方法，有效的缓解服务器端的压力，提升网络资源利用率，达到缓解网络拥堵、降低端到端时延以及减少数据卸载传输能耗的目标。

为实现上述目的，本发明采用如下技术方案：

一种MEC环境下基于强化学习的多接口自适应数据卸载方法，包括以下步骤：

将多个用户设备、边缘基站和服务器之间的数据传输策略构成的环境建模为一个有限状态的马尔科夫决策模型；

根据优化目标和网络信息确定当前系统状态；

根据奖励函数对所述马尔科夫决策模型的神经网络进行训练；

基于多智能体深度强化学习算法对当前系统状态下的所述马尔科夫决策模型进行求解；

选择使得奖励函数期望值最小的动作作为最优决策动作，确定数据卸载的传输方式。