[发明专利]一种基于强化学习的自适应AR任务卸载和资源分配方法

权利要求书

1.一种基于强化学习的自适应AR任务卸载和资源分配方法，其特征在于，包括以下步骤：

1)用户端选择不同视频帧分辨率的AR任务，同时得到该视频帧分辨率的AR任务相对应的准确率；假设用户i选择的AR视频被预处理为视频帧分辨率为v_i×v_i像素的视频帧，即用户i的视频帧分辨率为表示视频帧分辨率的集合，其中为用户集合；不同的帧分辨率对应有不同的任务大小和时延门限，用户i的计算任务表示为τ_i＝{d_i,c_i,thr_i}，分别包括任务的大小、计算量和时延门限，d_i＝δv_i²为任务大小，其中δ定义为表示一个像素信息所需的比特数，任务计算量与任务大小之间的关系为c_i＝η_id_i，其中η_i为计算密度，即单位任务所需的计算量，根据AR视频帧分辨率与准确率的关系，用户i得到的准确率Q_i为：

2)对于用户端选择的不同视频帧分辨率的AR任务进行部分卸载，首先对AR任务进行不同比例分割，然后分别计算在不同计算资源和无线资源的分配下，任务部分卸载到不同MEC服务器以及本地执行所带来的时延、用户能耗及用户费用；由于任务部分卸载能够并行执行，对于用户i的任务，执行完成所需的时延T_i为：

其中，TL_i为用户i的部分任务在本地执行的时延，TM_i,k为用户i的部分任务卸载到MEC服务器k的执行时延；

用户i的部分任务在本地执行的时延TL_i为：

其中，c_i表示用户i的任务计算量，f_i表示用户i处理当前任务所分配的本地计算资源，b_i,k表示用户i卸载到MEC服务器k的任务比例；

用户i的部分任务卸载到MEC服务器k执行的时延TM_i,k为：

其中，d_i表示用户i的任务大小，rv_i,k表示用户i与MEC服务器k之间的上行传输速率，m_i,k表示用户i分配到的MEC服务器k的计算资源大小；

用户i执行当前任务的用户能耗E_i为：

其中，EL_i为本地处理能耗，EM_i,k为用户卸载部分任务到MEC服务器k时的传输能耗；

本地处理能耗EL_i为：

其中，θ表示处理任务所需的能量密度，f_i为本地分配的计算资源；

用户卸载部分任务到MEC服务器k时的传输能耗EM_i,k为：

其中，P_i表示用户传输功率；

用户i卸载任务到MEC服务器执行时，根据任务计算量的大小c_i，卸载的任务比例b_i,k，MEC服务器收费的单价ε，需要付出相应的费用W_i：

3)在任务时延门限的约束下，综合考虑准确率、用户能耗和用户费用建立用户体验模型；通过联合优化AR视频帧分辨率选择策略、任务部分卸载策略、计算资源和无线资源分配策略，形成以提高用户体验为目标的优化问题；为了提高各用户综合体验，达到各用户体验的纳什均衡，降低用户能耗和用户费用，并提高用户AR任务的准确率，因此，综合这三个因素形成用户体验模型：

U_i＝ξ_QQ_i-ξ_EE_i-ξ_WW_i

在时延门限、计算资源和无线资源的约束下，联合优化用户的AR视频帧分辨率选择策略任务部分卸载策略无线资源分配策略本地和MEC计算资源分配策略形成最大化各用户体验为目标的优化问题：

s.t.

其中，z_i,k,n表示用户与MEC服务器k之间的信道n是否分给用户i，若分配则为1，否则为0，M_k为MEC服务器k的计算资源大小，F_i用户i的本地计算资源；

4)将优化问题转化为马尔科夫决策过程，初始化其状态空间、动作空间以及奖励设置；根据马尔科夫决策过程设计强化学习网络；状态空间包括所有用户计算资源大小、MEC计算资源大小，基站空闲的无线资源，初始计算资源和无线资源的分配方案、AR视频帧分辨率选择方案、任务部分卸载方案；动作空间为对初始计算资源和无线资源的分配方案、AR视频帧分辨率选择方案、任务部分卸载方案的改变量；奖励为根据约束条件(c1)-(c5)设置三层奖励；

5)通过MADDPG算法训练强化学习网络，直到网络收敛；首先根据强化学习网络得到新的状态、动作和奖励，存储在经验回放池中，然后当经验回放池的数据达到阈值，开始训练设计的强化学习网络，并不断更新经验回放池中的数据和网络参数，直到网络训练收敛；

6)网络训练好之后，将用户端和MEC服务器的状态输入网络，得到AR视频帧分辨率选择策略、任务部分卸载策略、计算资源和无线资源分配策略。