[发明专利]基于迁移学习的移动边缘计算任务卸载方法及装置

权利要求书

1.一种基于迁移学习的移动边缘计算任务卸载方法，其特征在于，包括：

将边缘服务器作为代理获取当前移动边缘计算网络的用户信息与环境信息；

对所述移动边缘计算网络的任务卸载问题进行建模，得到移动边缘计算系统的优化目标函数；

通过马尔科夫决策过程对所述移动边缘计算系统进行表示；

通过深度强化学习算法确定所述移动边缘计算系统的最优任务卸载策略；

对于动态变换的所述环境信息，通过迁移学习算法对所述移动边缘计算系统的任务卸载问题进行求解，确定最优任务卸载策略；

所述将边缘服务器作为代理获取当前移动边缘计算网络的用户信息与环境信息，包括：

通过边缘服务器获取移动用户本地执行计算任务算力；

通过边缘服务器获取移动用户本地执行计算任务功率；

通过边缘服务器获取移动用户任务卸载传输功率；

通过边缘服务器获取环境中对边缘服务器发射的干扰功率；

通过边缘服务器获取移动边缘计算网络中无线通信的传输带宽；

通过边缘服务器获取边缘服务器执行计算任务算力；

所述对所述移动边缘计算网络的任务卸载问题进行建模，得到移动边缘计算系统的优化目标函数，包括：

确定移动边缘计算系统中各个移动用户的本地计算时延以及本地计算能耗；

确定所述移动边缘计算系统中各个移动用户的卸载传输速率、卸载通信时延和卸载通信能耗；

确定任务在边缘服务器的边缘计算时延；

根据所述本地计算时延、所述卸载通信时延以及所述边缘计算时延，确定移动边缘计算中的总时延；

根据所述本地计算能耗和所述卸载通信能耗，计算移动边缘计算中的总能耗；

根据所述总时延和所述总能耗，计算移动边缘计算的任务卸载总代价；所述通过马尔科夫决策过程对所述移动边缘计算系统进行表示这一步骤中，

所述马尔科夫决策过程中的状态空间包含卸载到边缘服务器上的任务，所述卸载到边缘服务器上的任务为移动边缘计算系统中各个用户任务与卸载率的乘积；

所述马尔科夫决策过程中的动作空间包含对移动边缘计算系统中各个用户卸载率增加或减少的动作；

所述马尔科夫决策过程中的策略为在一确定状态下执行动作的概率；

对于马尔科夫决策过程中的奖励，当总系统代价降低时，即时奖励为1；在总系统代价不变的情况下，即时奖励为0；当总系统代价增加时，即时奖励为-1；

所述通过深度强化学习算法确定所述移动边缘计算系统的最优任务卸载策略，包括：

获取移动用户终端所需求的任务，生成对每个移动用户的初始卸载策略；

建立评估神经网络，并对所述评估神经网络的网络参数进行随机初始化；其中，所述评估神经网络是主神经网络，用于得出卸载策略；

建立目标神经网络，并对所述目标神经网络的网络参数进行随机初始化；其中，所述目标神经网络用于生成评估神经网络学习的目标值；

获取深度强化学习的预设学习率、随机探索概率以及奖励折扣；

初始化经验池；其中，所述经验池用于存储训练样本；

初始化当前迭代次数，获取总迭代次数上限；

将当前状态作为所述评估神经网络的输入，得到所述当前状态下的可选动作的Q值列表；

在所述当前状态下以目标概率选取使得Q值最大时的动作；

获取原始样本，并将所述原始样本存储在经验池中；

从所述经验池中抽取少量目标样本，并根据所述目标样本计算深度强化学习的损失函数；

通过梯度下降法对所述评估神经网络的网络参数进行更新；

将迭代后的评估神经网络的网络参数复制给所述目标神经网络；

所述对于动态变换的所述环境信息，通过迁移学习算法对所述移动边缘计算系统的任务卸载问题进行求解，确定最优任务卸载策略，包括：

获取移动边缘计算网络的环境信息发生变化后的新系统环境信息与相应的系统优化目标函数；

通过深度强化学习求解新系统环境下的移动边缘计算任务卸载的优化问题；

根据迁移学习，采用过去已训练好的评估神经网络的参数和目标神经网络的参数来初始化新系统环境下评估神经网络的参数和目标神经网络的参数；

通过应用已存储的已训练好的深度强化学习网络参数，学习该深度强化学习网络参数的先验知识，完成对所述移动边缘计算系统的任务卸载问题的求解，确定最优任务卸载策略。