[发明专利]一种边缘网络计算卸载和任务迁移方法及装置

权利要求书

1.一种边缘网络计算卸载和任务迁移方法，其特征在于，所述方法包括：

步骤A，获取用户终端UE的运转状态、边缘节点服务器MECS的运转状态以及信道情况；所述信道情况包括：所述UE到所述MECS的信道带宽，所述UE到所述MECS的信道增益和所述UE到所述MECS的信道噪声；所述信道情况用于计算传输速率和所述UE到所述MECS的传输能耗；

步骤B，根据所述UE的运转状态、所述MECS的运转状态以及所述信道情况，确定边缘网络的能耗及边缘网络的时延；其中，所述能耗包括：UE执行任务能耗、任务传输能耗及所述MECS执行任务能耗，所述时延包括：UE执行任务时延、任务传输时延、所述MECS执行任务时延；

步骤C，基于所述能耗及所述时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略；其中，所述初始最佳迁移策略是采用基于拉格朗日的任务迁移算法，通过MECS分类算法确定的MECS分类以及各类MECS迁移任务后的任务量，得到所述各类MECS中源MECS所有任务的迁移策略，所述源MECS为需要迁移出任务的MECS；

步骤D，采用基于强化学习的任务任务卸载算法，确定当前卸载策略；

步骤E，基于所述能耗及所述时延，使用当前卸载策略，采用基于拉格朗日的任务迁移算法，计算得到当前卸载策略下的当前最佳迁移策略；

步骤F，判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件，则返回步骤D继续执行，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到所述边缘网络最优卸载策略以及所述边缘网络最优迁移策略；

所述步骤C，基于所述能耗及所述时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略，包括：

步骤C1，获取强化学习的预设学习率α、初始化每一状态动作对(s,a₁)对应的Q(s,a)值、初始化奖励R，初始化当前迭代次数p、总迭代次数E_p、初始化多个任务卸载策略、预设的有限动作集合A及随机初始化的状态；其中，s为所述强化学习的有限状态集合中的当前状态，所述当前状态为任务卸载策略发生变化的任务的状态，所述a₁为所述有限动作集合A中的当前动作，所述当前动作为在当前UE的任务变化为下一UE的任务时，将当前UE的任务对应的任务卸载策略交换为下一UE的任务对应的任务卸载策略，为预设折扣因子，s'为下一状态，a'为下一动作，所述随机初始化的状态为从多个任务卸载策略中，随机选择一个任务卸载策略变化作为状态；

步骤C2，获取预设卸载策略，作为初始卸载策略；其中所述预设卸载策略包括：假定任务被卸载到用户设备端上和/或假定任务被卸载到边缘端上；

步骤C3，使用初始卸载策略，基于所述能耗及所述时延，采用基于拉格朗日的任务迁移算法，确定初始最佳迁移策略；

所述步骤D，采用基于强化学习的任务任务卸载算法，确定当前卸载策略，包括：

步骤D1，利用初始最佳迁移策略，计算强化学习的Lyapunov漂移加惩罚边界LDPL_all，作为初始边界；

步骤D2，根据从有限动作集合A中随机选择的一个动作a₁，确定当前卸载策略；

在所述步骤E，基于所述能耗及所述时延，使用当前卸载策略，采用基于拉格朗日的任务迁移算法，计算得到当前卸载策略下的当前最佳迁移策略之后，所述步骤F，判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件之前，所述方法还包括：

步骤E1，计算当前边界LDPL_all，所述当前边界LDPL_all为所有UE的任务的当前Lyapunov漂移加惩罚边界，所述当前边界LDPL_all相较于所述初始边界发生变化；

步骤E2，根据所述当前边界LDPL_all的变化，计算奖励R，作为更新后的当前奖励R；所述当前奖励R为状态动作对使Lyapunov漂移加惩罚边界产生的变化；

步骤E3，根据更新后的当前奖励R及所述预设学习率α，计算Q(s,a₁)值，作为更新后的当前Q(s,a₁)值；

步骤E4，根据状态转移策略P，选择所述有限状态集合的一个状态，作为更新后的当前状态；其中，所述状态转移策略P是以预定概率χ随机选择有限状态集合中的状态作为下一状态，或者，以概率1-χ选择边界贡献值最大的任务对应的任务卸载策略OF变化作为下一状态；

所述步骤F，判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件，则返回步骤D继续执行，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到所述边缘网络最优卸载策略以及所述边缘网络最优迁移策略，包括：

步骤F1，判定更新后的当前Q(s,a₁)值没有满足迭代终止条件，并且当前迭代次数p没有达到所述总迭代次数E_p，则返回步骤D，按照所述更新后的当前状态继续执行，直至更新后的当前Q(s,a₁)值满足迭代终止条件，得到任一任务R_m,i的最优卸载策略和最优迁移策略y_m,i,1,y_m,i,2,……，y_m,i,N，其中，R_m,i为第i个边缘节点连接的第m个UE的任务，为与第i个边缘节点连接的第m个UE的任务是否卸载在边缘端，为与第i个边缘节点连接的第m个UE的任务是否卸载在用户设备端，只有一个为1，其余为0；当时，表示与第i个边缘节点连接的第m个UE的任务卸载在边缘端，当时，y_m,i,1,y_m,i,2,……，y_m,i,N中有一个为1，其余为0，当时，表示与第i个边缘节点连接的第m个UE的任务卸载在用户设备端，i、m均为序号，N为边缘节点的总数，y_m,i,1为与第i个边缘节点连接的第m个UE的任务是否迁移到第1个边缘节点上的任务迁移策略，y_m,i,2为与第i个边缘节点连接的第m个UE的任务是否迁移到第2个边缘节点上的任务迁移策略，y_m,i,N为与第i个边缘节点连接的第m个UE的任务是否迁移到第N个边缘节点上的任务迁移策略。