[发明专利]一种移动边缘计算场景中卸载时延优化方法

权利要求书

1.一种移动边缘计算场景中卸载时延优化方法，该方法如下：

步骤一、构建系统模型：

所述系统模型包括2M个用户和一个移动边缘计算MEC服务器，每个用户有L个任务需要被卸载到MEC服务器进行计算，假设同时只允许两个用户采用混合非正交多址NOMA策略同时卸载；

其中，2M≥2，且为偶数；L≥1；MEC服务器为移动边缘计算服务器；

步骤二、用DQN算法进行用户搭档选择：

设定每一个用户作为一个执行者，每一个执行者按照DQN算法进行动作选择，即从其余2M-1个用户中选择一个作为自己的传输搭档同时进行卸载；

具体的，

动作空间表示为：

其中，u_k,p表示待选动作，0p2M，代表用户k选择用户p作为NOMA-MEC状态下的传输搭档,A^t表示t时刻的状态集，表示用户k在t时刻选择的动作，A表示系统的总状态空间集合；当u_k,p＝1这个动作将被选择，用户k所选择的搭档用户编号可以是0～2M中的任意一个，前提是不能选择自己本身，且已经组对的用户不能再次被选，2M个用户轮流进行搭档用户的选择，被选择的用户默认接受组对，因此所有用户完成一次任务的卸载，选择过程需进行M次；

步骤三、用强化学习算法DQN进行系统优化：

所有用户搭档选择完成后，计算系统的总卸载时延，更新奖赏值，然后训练神经网络，用神经网络作为函数逼近器，更新强化学习算法Q学习中的状态动作函数；不断的对系统进行上述迭代优化，直至找到最优的时延；

具体的，

系统状态表示为：

其中，每个时隙的状态由两个参数构成：用户k选择与自己同时进行卸载的用户的编号p，以及用户k与用户p的正交多址OMA状态下所需的传输时间对比状态δ；

若T_k＜T_p，则δ＝0，且用户k在非正交多址-移动边缘计算NOMA-MEC状态下的传输功率与OMA状态相同，反之δ＝1，NOMA-MEC状态下用户p的传输状态不变，用户k需为了不影响搭档用户p的传输而改变传输速率；

奖赏函数定义为：

其中，s和a分别表示当前的状态和动作，表示时隙t时，在状态s下根据策略π选择动作a所得到的即时奖赏，N表示每个任务的卸载量；T_k,T_p分别表示用户k和用户p采用OMA传输时所需的时延；R_k,R_p表示用户k和用户p能采用NOMA技术成功进行卸载所需的传输率；h_k,h_p表示用户k和用户p的信道增益；表示用户k和用户p的发射功率；P_N是信道噪声功率；

长期效用与即时奖励的关系可以用下式来表示：

其中γ∈[0,1)是折扣因子，γ^(t-1)表示第t-1次幂的折扣因子，可以看出，距离当前时刻越近的奖赏值在效用计算中所占的比重是越大的，为了使长期效用达到最大，最优策略的选择表示为：

得到了长期效用的表达方式以及最优策略的选择规则，按照DQN算法，通过更新神经网络参数来近似最佳效用值，并用均方误差定义的损失函数来训练神经参数，以获得基于DQN算法的最优效用。