[发明专利]一种基于深度强化学习的任务卸载方法

权利要求书

1.一种基于深度强化学习的任务卸载方法，其特征在于：根据获取的用户信息构建任务队列模型，根据任务队列模型得到用户的卸载任务量；设定任务卸载约束条件，根据任务卸载约束条件判断是否执行任务卸载以及卸载到本地或者卸载到基站；采用有限状态马尔可夫模型模确定系统的无线信道，通过信道的信噪比表征信道状态，根据信道状态确定任务卸载的传输成本；构建任务卸载系统模型，通过任务卸载系统模型以及任务卸载的传输成本确定最小化系统成本的优化问题；采用DDPG模型求解最优的任务卸载和资源分配策略；其中MEC表示移边缘计算，DDPG表示深度强化学习模型；

所述任务卸载系统模型包括通信成本模型和计算成本模型；通信成本模型包括：

其中，表示移动用户j在时隙t传输计算任务的通信成本，α_i表示用户与基站i之间每单位时间的传输数据成本，表示用户j到基站i的传输时延，表示每个用户j具体决策卸载多少任务量，表示用户j与基站i之间的传输速率，B_i表示基站i分配给用户的带宽，表示在时隙t时用户j与基站i之间的SNR随机变量；

计算成本模型包括本地计算和边缘计算两种模型，其中本地计算模型包括：

其中，表示用户j在时隙t本地计算消耗的能耗，表示用户j本地计算每cpu频率消耗的能耗，表示用户j本地计算执行的任务量，γ_j表示移动用户j的计算密度，表示用户j在时隙t本地计算的时延，表示用户j的计算能力；

边缘计算模型包括当用户j决定卸载时，计算任务将被传输到与MBS或SBS相连的MEC服务器；MEC服务器代替用户j执行计算任务，用户j传输计算任务到基站i的时延和能量消耗分别为：

其中表示用户j传输计算任务到基站i的时延，表示用户j卸载到基站i的任务量，γ_j表示移动用户j的计算密度，表示用户j传输计算任务到基站i的能耗，p_j表示用户j的传输功率；

用户j任务卸载过程中的的计算成本和能量消耗为：

其中表示用户j任务卸载过程中的的计算成本，β_i表示MECi每单位时间的计算成本，表示用户j在基站i的计算的时间，表示用户j卸载任务到MEC服务器i的过程中的能量消耗，表示用户j传输计算任务到基站i的能耗；

最小化系统时间平均成本开销为目标的优化问题包括：

其中，表示用户j选择计算的模式，表示用户j选择执行本地计算，表示系统时间平均成本开销，T表示时隙的总长度，sup函数为求最小上界的函数，表示求期望，C(t)表示系统成本开销。

2.根据权利要求1所述的一种基于深度强化学习的任务卸载方法，其特征在于，所述任务队列模型Θ_i为：

其中，Q_j(t)、b_j(t)、γ_j和分别表示移动用户j在时隙t的开始等待处理的任务量、移动用户j在时隙t卸载的任务量、移动用户j的计算密度、移动用户j的最大容忍计算时间。

3.根据权利要求1所述的一种基于深度强化学习的任务卸载方法，其特征在于，所述任务卸载约束条件包括：

其中，表示移动用户j是否卸载以及卸载到哪，t表示时隙的索引，当表示移动用户j选择模式i执行计算任务计算；i∈{0,1,2,...,N}表示选择的计算模式，i＝0表示执行本地计算，i＝1表示通过MBS执行计算任务，i＞1表示通过SBSi执行计算任务，MBS表示宏基站，SBSi表示第i个小基站；b_j(t)表示用户j的任务卸载量，表示移动用户j的最大任务卸载量，表示队列的稳定性，U表示用户数量。