[发明专利]一种多用户移动边缘计算系统中最优化成本和时延方法

权利要求书

1.一种多用户移动边缘计算系统中最优化成本和时延方法，其特征在于，包括以下步骤：

步骤1、建立多用户的移动边缘计算系统模型，包含多个用户、一个MEC服务器、一个远程云服务器和一个给MEC服务器供电的电池及能量收集装置，包括以下步骤：

步骤101、假设系统在一个有限的可操作的时间范围T＝{1,...,T}内工作，系统所有的用户为N＝{1,...,N}，每个用户在每个时刻有一个任务，定义D_in(t,i)、D_out(t,i)分别表示在t时刻用户i任务的输入数据和输出数据的大小，定义Y(i)表示用户i任务的处理周期；每个任务在时隙的开始以随机的方式到达移动用户端；

步骤102、构建卸载决策模型：式中：

表示用户i在t时刻的卸载决策，表示了用户i在t时刻的任务放在本地处理，表示了用户i在t时刻的任务卸载到MEC服务器处理，表示了用户i在t时刻的任务卸载到云服务器处理；

卸载决策受限于：

步骤103、构建能耗模型：

如果用户i的任务在本地处理，本地处理的能量消耗为

如果用户i的任务被卸载到MEC服务器上，传输和处理产生的能量消耗为式中，分别为用户i通过无线将任务传输到MEC服务器的传输能量消耗和接收到MEC服务器处理好的任务的传输能量消耗，为任务在MEC服务器处理的使用成本，α表示在中传输成本和处理成本的相对权重；

如果用户i的任务被进一步卸载到云服务器上，传输和处理产生的能量消耗为式中，为任务卸载到云服务器处理的使用成本，β表示中传输成本和处理成本的相对权重；

步骤104、构建时延模型：

如果用户i的任务在本地处理，本地的处理时间为

如果用户i在t时刻的任务被卸载到MEC服务器，其传输和处理时延表示为：式中：

分别是分配给用户i的在移动用户端和MEC服务器端之间传输的上行链路带宽和下行链路带宽，且分别受限于上行链路带宽C_UL和下行链路带宽C_DL，即有并存在总带宽C_Total限制，即分别是在移动用户端和MEC服务器端之间传输的上行链路和下行链路的频谱效率；

用户i与MEC服务器之间的上行传输时间和下行传输时间分别表示为和

MEC服务器处理的处理时间为T_i^e＝Y(i)/f_i^e，其中，f_i^e表示被分配到的处理速率，受限于MEC服务器中总的处理速率f_A，即Y(i)表示用户i的任务的处理周期；

如果用户i在t时刻的任务被卸载到云服务器，其传输和处理时延表示为：其中：

表示任务在MEC服务器-云服务器之间传输的额外传输时延，记云服务器处理任务的处理时间为T_i^c＝Y(i)/f^c，f^c表示每个用户在云服务器的处理速率；

步骤105、构建电池模型：

在t时刻，MEC服务器的电池电量为B(t)，其电池电量满足：其中，B_min表示MEC服务器的电池的最小电量，B_max表示MEC服务器的电池的最大电量；

在t时刻，到来的可再生能源电量为b(t)，其电池电量满足：其中，b_min表示到来的可再生能源电量的最小值，b_max表示到来的可再生能源电量的最大值；

当用户i的任务被卸载到MEC服务器处理时，MEC服务器传输和处理的过程中能量消耗为因此在(t+1)时刻，MEC服务器的电池电量为：

步骤2、确定系统能源消耗总成本和时延的加权和为目标函数，将最优化成本和时延问题合理转化为联合优化问题，包括以下步骤：

步骤201、规划成本、时延最小化问题如下式所示：

约束条件为：

式中，ρ_i是用户i任务的能量消耗相对于时延的权重，是用户i的任务在本地处理时的能量消耗，是用户i的任务在本地处理时的时延；

步骤3、使用强化学习算法对步骤2获得的联合优化问题进行处理，得到最优解，制定最佳的任务卸载决策。

2.如权利要求1所述的一种多用户移动边缘计算系统中最优化成本和时延方法，其特征在于，所述步骤3包括以下步骤：

步骤301、将强化学习算法的状态空间定义为有限个状态，表示当前时刻系统的状态：将任务的输入数据的大小离散地划分为M个区间{1,...,M}；将MEC服务器电池电量离散地划分为J个区间{1,...,J}；将可再生能源的电量离散地划分为K个区间{1,...,K}；

系统的状态空间表示为S(t)＝[A(t),B(t),b(t)],t∈T，式中，A(t)表示在t时刻系统到来的任务输入数据的大小，B(t)表示在t时刻MEC服务器电池电量的大小，b(t)表示在t时刻到来的可再生能源电量的大小；

步骤302、将强化学习算法的动作空间定义为系统的卸载决策，表示当前时刻系统如何处理到来的任务：

系统的动作空间表示为A(t)＝{1,2,3},t∈T，其中，当动作a＝1时，表示在t时刻所有任务在本地处理；当动作a＝2时，表示在t时刻所有任务被卸载到MEC服务器处理；当动作a＝3时，表示在t时刻所有任务被进一步卸载到云服务器处理；

步骤303、将成本、时延联合优化问题修改后，取相反数作为直接回报函数：

新的回报函数和平均回报函数具体实现如下：

其中，η是平滑参数，其值越大代表越重视当前获得的回报；

步骤304、选择Q-Learning算法对联合优化问题进行求解：

当系统在t时刻的某个状态下制定卸载决策，Q-Learning算法中的Q-Table值通过Bellman方程更新，具体实现如下：

其中，s是系统的状态；a是系统采取的动作；Q(s,a)_t是系统在时刻t，状态s下采取动作a后的Q-Table值；Q(s,t)_t-1是系统在时刻t-1，状态s下采取动作a后的Q-Table值；s'表示系统在状态s下采取动作a后，系统状态从s转移到s'；a'是系统在状态s'下使得Q-Table值最大的动作；Q(s',a')是系统在状态s'下采取动作a'的Q-Table值；参数β∈(0,1]表示对过去值和当前值的学习率；参数γ∈[0,1]表示未来回报的重要性；回报函数r(t)可选择步骤303中的r₁(t)或r₂(t)；

当Q-Table中的值最终收敛，得到最佳的卸载决策：

其中，π(·)是最小化成本和时延的卸载决策；argmax函数表示取得最大的Q值时的动作a。