[发明专利]一种使用深度强化学习进行移动边缘计算的任务迁移方法

权利要求书

1.一种使用深度强化学习进行移动边缘计算的任务迁移方法，其特征在于，具体包括以下步骤：

步骤S1：设定系统模型各参数，包括以下步骤：

步骤S11：定义边缘计算服务基站位置集合为；

步骤S12：定义服务时间片段集合为；

步骤S13：在t时刻，，定义用户连接的服务基站位置为；

步骤S14：定义t时刻距离用户最近的服务基站位置为；

步骤S15：定义式1为两基站的距离；

步骤S2：采用马尔可夫决策过程描述强化学习中的决策公式，决策的智能体为装载于用户终端的一种云计算控制装置，该云计算控制装置可决定是否进行任务迁移，包括以下步骤：

步骤S21：定义t时刻智能体的状态为式2，为用户当前使用基站与考虑任务迁移基站的距离之差；

步骤S22：定义智能体的动作集合为式3，代表不做任务迁移，代表进行任务迁移；

步骤S23：定义t时刻智能体的动作为式4；

步骤S24：定义t时刻服务质量函数为式5；其中意为用户在t时刻获得的服务质量；D代表了当前使用基站正好离用户最近的情况下的服务质量，即；而λ为一常数，衡量了对服务质量的影响程度；

步骤S25：定义t时刻代价函数为式6，其中，代表了任务迁移时产生的时间能量等消耗，其与距离有关，代价函数代表了智能体不同动作所需付出的代价；

步骤S26：定义t时刻奖励函数式7；

步骤S27：定义t时刻的决策动作为式8，意为状态下智能体做出的动作函数；

步骤S28：定义t时刻决策动作后的状态为；

步骤S29：定义所有时刻的集合为；

步骤S210：定义最佳决策下所有时刻奖励函数的最大值为式9，其中代表折扣因子；

步骤S211：利用时间差分算法使系统探索最优决策，由贝尔曼方程可得迭代公式为式10；

步骤S212：利用Q学习方法可得到最优Q值式11；

步骤S3：基于公式给出任务迁移算法，包括以下步骤：

步骤S31：引入评估参数，使得最优Q值式12，其中代表贝尔曼方程中的可调参数；

步骤S32：更换得到迭代优化目标函数为式13，其中代表上一次迭代的值；

步骤S33：得到代价函数为式14，对式14微分处理后得到代价函数梯度为式15；

步骤S34：得到参数迭代方程为式16，其中，代表学习率。