[发明专利]边缘计算任务的在线分派调度方法和系统

权利要求书

1.一种边缘计算任务的在线分派调度方法，应用于边缘计算任务的在线分派调度系统，所述在线分派调度系统包括：

用户终端，接入点和边缘服务器；

所述边缘计算任务的在线分派调度方法包括：

所述用户终端将任务发送给所述接入点；

所述接入点根据最优分派策略从若干所述边缘服务器选择目标边缘服务器，并将所述任务分派到所述目标边缘服务器；其中，所述最优分派策略由多臂老虎机模型生成；其中，所述接入点根据最优分派策略从若干所述边缘服务器选择目标边缘服务器，具体包括：

对于每个所述边缘服务器，计算其置信区间上界；所述置信区间上界的计算公式为：；其中，为边缘服务器 j的选择次数，c为控制探索利用平衡的参数，为边缘服务器j累积时刻的奖励均值，其计算公式为：

其中，为边缘服务器在i时刻获得的奖励；

将所述置信区间上界最大的所述边缘服务器确定为所述目标边缘服务器；

所述目标边缘服务器根据多队列加权循环调度模型对所述任务进行处理，并将处理后的所述任务反馈给所述接入点；其中，所述多队列加权循环调度模型包括：调度器、任务缓冲区和处理池；

所述奖励包括外部奖励与加权后的内部奖励，在t时刻时：

其中，为权重，为外部奖励，为内部奖励；

所述外部奖励为：

其中，为所述任务从所述接入点到所述边缘服务器j的时延，为所述任务从所述边缘服务器j到所述接入点的时延；

所述内部奖励为：

；

其中，为所述任务在所述处理池中的处理时延，为内部时延，，为所述任务在所述任务缓冲区的等待时延；

所述目标边缘服务器根据多队列加权循环调度模型对所述任务进行处理，包括：

所述目标边缘服务器将所述任务存储至所述任务缓冲区等待处理；

所述目标边缘服务器将结束等待后的所述任务送入所述处理池；

所述目标边缘服务器通过最优调度策略对所述处理池中的所述任务进行处理；其中，所述最优调度策略由基于DQN模型的所述调度器产生；

所述接入点将所述处理后的所述任务发送给所述用户终端。

2.根据权利要求1所述的边缘计算任务的在线分派调度方法，其中，所述DQN模型包括主网络和目标网络；

所述DQN模型的损失函数为：

其中为所述主网络的参数，为所述主网络生成的评估当前环境状态和动作的当前Q值，为所述目标网络生成的目标Q值，其计算公式为：

其中为所述目标网络的参数， 是折扣累计因子，为下一时刻环境状态和下一时刻动作的Q值，是奖励。

3.根据权利要求2所述的边缘计算任务的在线分派调度方法，其中，所述最优调度策略通过以下方法生成：

所述调度器获取存储在所述处理池和所述任务缓冲区的任务的基本信息；

所述调度器从所述基本信息中实时获取环境状态；

所述调度器根据当前时刻的所述环境状态，以方法执行Q值最大的动作，生成所述最优调度策略；

所述调度器根据奖励函数获得所述动作的奖励；

所述调度器根据所述奖励使用经验回放法更新所述主网络，得到更新后的所述主网络；

所述调度器根据所述更新后的所述主网络使用随机梯度下降法更新所述目标网络。

4.根据权利要求3所述的一种边缘计算任务的在线分派调度方法，其中，所述奖励函数，定义如下：

其中为权重，s(t)为某一时刻的环境状态，a(t)为某一时刻的动作；

表示所述任务缓冲区中任务的平均等待时间；表示所述处理池中任务的平均处理时间。