[发明专利]一种基于深度强化学习的云边协同计算迁移方法

权利要求书

1.一种基于深度强化学习的云边协同计算迁移方法，其特征在于，包括以下步骤：

(1)构建由用户层、边缘云层和云层组成的移动边缘网络计算迁移模型；

(2)边缘云层内的边缘云节点接收到用户层迁移的计算任务，根据任务分配宽带和计算资源；

所述步骤(2)的具体包括以下步骤：

(21)当多个用户有任务需要计算时，首先确定任务的最大容许延迟，以及本地计算的时间；若本地计算的时间j∈{0,1,2,···,M}大于最大容许延迟，将发送任务迁移请求，把需要计算的任务数据大小发送给边缘节点，边缘节点在边缘云中同步该用户的信息，生成如下的任务表格：

F_ij＝{x_ij,λ_ij,β_ij,D_i,T_i^tol}

其中，x_ij表示计算任务在本地执行还是被迁移；λ_ij表示边缘节点j分配给用户i的带宽占比，β_ij表示边缘节点j分配给用户i的计算资源占比；T_i^tol表示用户终端i的最大容许延迟；其中i∈{1,2,···,N}D_i；j表示第j个边缘节点，当j＝0时，特指用户终端本身；

(22)边缘节点在边缘云下同步更新和维护上述任务表格，根据全部任务生成的表格可以得到总任务集F：

F＝{F_ij|i∈{1,2,···,N},j∈{0,1,2,···,M}}

(23)总任务集F形成在边缘云中的所有边缘节点中，基于总任务集F得到所有任务的迁移决策，从而计算出各个任务相应的处理成本；

(3)以计算任务的时延和能耗的权重和最小作为优化目标，构建目标函数和约束；

所述步骤(3)中的目标函数为：

其中，目标函数即为最小化全部任务完成时间与用户端能耗的权重和，用总成本C表示；z_ij为用户i是否选择边缘节点j进行计算迁移；x_ij表示用户终端选择迁移计算还是本地计算；λ_ij表示边缘节点j分配给用户i的带宽占比；为本地计算成本；为迁移计算成本；

所述步骤(3)中的约束条件包括：

(31)无论是选择本地计算所产生的延迟还是选择迁移计算产生的延迟都不能大于用户对任务执行所能容忍的最大延迟，公式如下：

其中，x_ij表示用户终端选择迁移计算还是本地计算；为本地计算时间；为迁移计算时间；

(32)节点j分配给各个任务的带宽占比和必须小于或等于1，即迁移到边缘节点的所有用户任务占用的带宽和要小于或等于边缘节点的最大带宽，本地用户的带宽分配也是如此，公式如下：

其中，z_ij为是否迁移选择，λ_ij为带宽分配比；

(33)所有迁移到边缘节点或在本地执行的任务CPU占比之和小于或等于1，公式如下：

其中，z_ij为是否迁移选择；β_ij为CPU占比；

(34)变量z_ij的取值约束：当z_ij＝0表示任务i并未选择节点j进行计算，当z_ij＝1表示任务i选择j节点执行计算，公式如下：

z_ij∈{0,1}；

(4)构建深度神经网络模型，采用异步云边协同深度强化学习的方法对目标函数进行优化，得到最优的迁移决策，并返回用户层的终端执行该决策；

所述步骤(4)的优化过程具体包括以下步骤：

(41)定义状态空间为：

S_t＝(C_ij(t))

其中，C_ij(t)表示时隙t时用户i的任务迁移至边缘节点j计算的总成本；S_t为环境状态；

定义动作空间为：

A_t＝(z_ij(t),λ_ij(t),β_ij(t))

其中，z_ij(t)表示t时刻用户i选择边缘节点j进行迁移；λ_ij(t)表示t时刻边缘节点j分配给用户i的带宽占比；β_ij(t)表示t时刻边缘节点j分配给用户i的CPU占比；

定义奖励函数为：

其中，v为具体环境决定的奖励值；r_t^ij表示用户i选择边缘节点j进行迁移在时刻t时的奖励值；表示用户i选择边缘节点j进行迁移在时刻t-1时的奖励值；C_ij(t-1)表示时隙t-1时用户i的任务迁移至边缘节点j计算的总成本；

(42)为了将边缘节点智能体中的各种观测结果融入深度神经网络中，定义策略函数为：

π(s_t,a_t)≈π(a_t|s_t；θ_t)

其中，a_t为t时刻的迁移动作；θ_t为使用策略迭代更新网络中的权重参数；

采用梯度上升方法计算关于奖励的期望E[R_t]，则策略梯度公式为：

其中，R_t为每个动作的奖励值；π(a_t|s_t；θ_t)表示在状态s_t下选择动作a_t的概率；为对的无偏估计；

(43)通过边缘节点的智能体观测到任务迁移到边缘节点的映射，观测包括边缘节点的计算能力，任务的数据大小，以及任务的最大容许延迟，采用多步Q-learning方法中的目标动作Q值定义方法，因此定义动作值Q函数为：

Q(s_t,a_t)≈Q(s_t,a_t；w_t)

其中，Q(s_t,a_t)为单个动作所对应的价值；w为本发明的权重参数；

因此基于价值函数的深度神经网络，损失函数定义为：

其中为上一次迭代的权重值；

多步Q-learning方法中的多步是指包括计算后续n步的状态，因此本发明定义TargetQ为：

其中γ为衰减因子；r_t,r_t+1...r_t+n-1分别表示进行迁移在时刻t,t+1...t+n-1时的奖励值；为执行动作a_t时的最大动作值；

(44)采用折扣奖励用于通知边缘节点迁移决策的优劣；然后进行网络更新，以确定该迁移决策的优劣程度；

定义云-边动作优势函数为：

A(s_t,a_t)＝Q(s_t,a_t)-V(s_t)

其中，状态值函数V(s_t)是在时间步t的状态下，所有动作值函数关于动作概率的期望；

采用折扣奖励R作为动作值Q的估计值，最终定义云-边优势函数为：

A(s_t,a_t)＝R(s_t,a_t)-V(s_t)

其中，R(s_t,a_t)为状态s_t时执行迁移动作a_t的奖励值。