[发明专利]一种基于深度强化学习的边云协同串行任务卸载方法

权利要求书

1.一种基于深度强化学习的边云协同串行任务卸载方法，其特征在于，包括以下步骤：

S1：用户设备产生串行任务，并发送任务卸载请求至MEC服务器；S2：MEC服务器接收到用户设备发送的任务卸载请求后，获取当前系统状态；通过计算获得权重向量，并根据当前状态，得到最优卸载策略，最优卸载策略的获得包括以下子步骤：

S201：输入当前系统状态S_n，初始化权重矩阵和经验池；

S202：初始化状态S₁以及预处理序列；

S203：以ε的概率选择随机动作X_w，否则选用最优奖励动作

S204：向系统执行动作X_w；记录该动作下系统和用户状态，根据用户状态更新权重矩阵A_i；

S205：根据权值矩阵和系统状态计算奖励值，返回奖励值r_t和状态S_t+1；

S206：令S_t+1＝S_t，计算将向量存放至经验池；

S207：从经验池中按优先经验回放策略抽取向量，更新网络参数θ，返回S203；

S208：若S_t+1若为结束状态，则结束迭代；否则，返回S202；

其中，权重矩阵表示为：

其中，A为权重矩阵；d为任务计算成本标准；t为参考容忍时延标准；q为用户设备服务质量保证优先级；下标1表示第一个微任务，u表示当前微任务；

动作决策值X_w∈{0,1,2,3}，表示对任务w做出的决策，0表示该次请求暂时跳过；1表示该任务将在本地执行；2表示该任务将卸载至MEC服务器执行；3表示该任务将卸载至云端执行；状态向量S_t＝{T_c,T_m,T₁...T_u,A_i,W_u}，A_i为该用户的权重向量；W_u为该用户当前提交任务卸载请求的微任务信息，包含计算量需求、数据传输大小、该任务组的时延上限、该任务组已经消耗的时间，T_c为该服务器当前任务的预计完成时间，T_m为该服务器当前任务的预计完成时间，T_u是该用户设备当前任务的预计完成时间，T₁表示编号1用户设备预计完成时间；

S3：根据得到的最优卸载策略，执行卸载任务。

2.根据权利要求1所述的一种基于深度强化学习的边云协同串行任务卸载方法，其特征在于，所述权重受能耗、时延、服务质量、不同的用户设备本身的优先级、任务组中某些微任务在不同计算场景下的效率以及系统的费用成本的影响；在对单个微任务计算时延、能耗的同时，也需要对串行任务进行约束，即在确定各项串行任务权重时，需考虑当前任务计算成本标准、参考容忍时延标准以及用户设备服务质量保证优先级。

3.根据权利要求2所述的一种基于深度强化学习的边云协同串行任务卸载方法，其特征在于，所述计算成本和所述参考容忍时延使用z-score标准化所有用户的实际使用情况作为参考标准，质量保证为用户预设优先级。

4.根据权利要求1所述的一种基于深度强化学习的边云协同串行任务卸载方法，其特征在于，所述奖励值通过综合能耗、时延和服务质量三项评价因素，采用min-max标准化方法对该三项评价指标进行归一化，最后得到奖励函数，从而计算得到奖励值。

5.根据权利要求1所述的一种基于深度强化学习的边云协同串行任务卸载方法，其特征在于，所述S3具体为：根据最优卸载策略决定是在本地执行卸载任务，还是上传至MEC服务器或云端执行卸载任务。