[发明专利]一种基于强化学习的自适应AR任务卸载和资源分配方法

说明书

本发明公开了一种基于强化学习的自适应AR任务卸载和资源分配方法，包括用户端选择不同视频帧分辨率的AR任务，同时得到对应的准确率；对AR任务进行部分卸载，计算所带来的时延、用户能耗及用户费用，建立用户体验模型，由此形成以提高用户体验为目标的联合优化问题；将优化问题转化为马尔科夫决策过程，初始化其状态空间、动作空间以及奖励设置，根据马尔科夫决策过程设计强化学习网络；训练强化学习网络直到网络收敛；网络训练好之后，将用户端和MEC服务器的状态输入网络，得到相应的策略。本发明综合考虑了用户端对准确率、用户能耗和用户费用的不同需求，在任务时延门限内，有效地提高用户体验，达到各用户体验的纳什均衡。

技术领域

本发明属于无线通信技术领域，特别是涉及一种基于强化学习的自适应AR任务卸载和资源分配方法。

背景技术

随着第五代移动通信技术的发展，越来越多的计算密集型和时延敏感型应用不断涌现。其中，增强现实(Augmented Reality，AR)技术已逐渐应用在智能巡检、城市运维、工业生产当中，能够实时获取到大量的数据，但是由于用户终端设备计算资源和功率的限制，不能在短时间内处理大量数据。传统的云计算可以提供丰富的计算资源，但存在回程链路拥塞、传输时延长等缺点。而移动边缘计算(Mobile Edge Computing，MEC)能够在移动网络的边缘就近为用户提供服务，用户将任务卸载到MEC服务器进行处理可以减轻本地负载，节省用户能耗，带来低时延、低能耗等优点，从而提高用户的综合体验。

在现有的技术中，已有很多优化计算任务卸载时延或能耗的研究工作，此外，一些研究工作还着眼于优化用户代价。但是目前的工作中用户的任务大小都是固定的，没有深入研究用户任务需求变化的情况。即使针对同一任务，不同的用户可能会有不同的具体需求，并且现有研究很少将用户的体验质量进行考虑。对于AR计算密集型任务而言，本地资源受限需要卸载到MEC进行处理，而且不同的AR视频帧分辨率会带来不同的准确率，进而带来不同的用户体验。

发明内容

本发明的目的在于克服上述现有工作的缺点，提供了一种基于强化学习的自适应AR任务卸载和资源分配方法，该方法能够有效提高用户的体验，达到各用户体验的纳什均衡。

本发明采用如下技术方案来实现的：

一种基于强化学习的自适应AR任务卸载和资源分配方法，包括以下步骤：

1)用户端选择不同视频帧分辨率的AR任务，同时得到该视频帧分辨率的AR任务相对应的准确率；

2)对于用户端选择的不同视频帧分辨率的AR任务进行部分卸载，首先对AR任务进行不同比例分割，然后分别计算在不同计算资源和无线资源的分配下，任务部分卸载到不同MEC服务器以及本地执行所带来的时延、用户能耗及用户费用；

3)在任务时延门限的约束下，综合考虑准确率、用户能耗和用户费用建立用户体验模型；通过联合优化AR视频帧分辨率选择策略、任务部分卸载策略、计算资源和无线资源分配策略，形成以提高用户体验为目标的优化问题；

4)将优化问题转化为马尔科夫决策过程，初始化其状态空间、动作空间以及奖励设置；根据马尔科夫决策过程设计强化学习网络；

5)通过MADDPG算法训练强化学习网络，直到网络收敛；

6)网络训练好之后，将用户端和MEC服务器的状态输入网络，得到相应的策略。