[发明专利]一种任务调度方法和装置

权利要求书

1.一种任务调度方法，其特征在于，包括：

将任务调度的时刻作为状态，将单个任务的调度执行作为动作以构建动作价值函数；

将集群在时间上的平均负载作为奖赏，根据所述奖赏采用强化学习算法对所述动作价值函数进行迭代计算，以得到收敛函数值；

根据所述状态、动作和收敛函数值进行任务调度；

其中，根据所述状态、动作和收敛函数值进行任务调度，包括：

根据所述状态、动作和收敛函数值建立调度表；其中，所述调度表的行代表动作，列代表状态，每个行列表格中的值为所述状态和动作对应的收敛函数值；

根据所述调度表，获取当前状态对应的最大收敛函数值；

按照所述最大收敛函数值对应的动作进行任务调度。

2.根据权利要求1所述的方法，其特征在于，所述强化学习算法为Q-Learning算法。

3.根据权利要求2所述的方法，其特征在于，所有所述的任务调度的时刻构成状态集，所有所述的任务的调度执行构成动作集；

当根据所述奖赏采用Q-Learning算法对所述动作价值函数进行迭代计算时，包括：

初始化所述动作价值函数的函数值，设置所述动作价值函数的当前状态；

根据所述当前状态和策略，从所述动作集中选择一个动作；

执行所述动作以得到所述奖赏和下一个状态；

根据所述奖赏和所述下一个状态，更新所述动作价值函数；

将所述下一个状态作为当前状态，重复迭代直至到达所述状态集的终止状态。

4.根据权利要求3所述的方法，其特征在于，所述根据所述奖赏和所述下一个状态，更新所述动作价值函数的步骤中，更新所述动作价值函数的计算公式为：

Q(s,a)←(1-α)×Q(s,a)+α[R+γmax_aQ(s',a)]

s←s'

其中，s为当前状态；a为动作；Q(s,a)为动作价值函数，表示在当前状态s执行动作a所获得的收敛函数值；α为学习率；R为奖赏；γ为折扣因子；s'为下一状态；max_aQ(s',a)为下一状态s'所采取动作的最大收敛函数值。

5.根据权利要求1所述的方法，其特征在于，所述根据所述状态、动作和收敛函数值进行任务调度的步骤之后，还包括：当需要调度的任务发生改变时，根据当前状态和策略对所述调度表进行更新。

6.一种任务调度装置，其特征在于，包括：

函数构建模块，用于将任务调度的时刻作为状态，将单个任务的调度执行作为动作以构建动作价值函数；

迭代计算模块，用于将集群在时间上的平均负载作为奖赏，根据所述奖赏采用强化学习算法对所述动作价值函数进行迭代计算，以得到收敛函数值；

任务调度模块，用于根据所述状态、动作和收敛函数值进行任务调度；其中，根据所述状态、动作和收敛函数值进行任务调度，包括：

根据所述状态、动作和收敛函数值建立调度表；其中，所述调度表的行代表动作，列代表状态，每个行列表格中的值为所述状态和动作对应的收敛函数值；

根据所述调度表找出当前状态对应的最大收敛函数值；

按照所述最大收敛函数值对应的动作进行任务调度。

7.根据权利要求6所述的装置，其特征在于，所述强化学习算法为Q-Learning算法。

8.根据权利要求7所述的装置，其特征在于，所有所述的任务调度的时刻构成状态集，所有所述的任务的调度执行构成动作集；

所述迭代计算模块，还用于：

初始化所述动作价值函数的函数值，设置所述动作价值函数的当前状态；

根据所述当前状态和策略，从所述动作集中选择一个动作；

执行所述动作以得到所述奖赏和下一个状态；

根据所述奖赏和所述下一个状态，更新所述动作价值函数；

将所述下一个状态作为当前状态，重复迭代直至到达所述状态集的终止状态。