[发明专利]基于Q学习的资源调度方法和装置

说明书

一种基于Q学习的资源调度方法和装置，能够提高资源调度性能。该方法包括：根据应用的多个状态‑动作组合中的第一状态‑动作组合的回报值，将该第一状态‑动作组合对应的Q值更新为第一数值(S210)，其中，该第一状态‑动作组合表示当该应用处于第一状态时执行第一动作，该第一状态为该应用在早于第一反馈周期的第二反馈周期所处的状态；根据该第一数值，更新该多个状态‑动作组合中的至少一个状态‑动作组合对应的Q值；在当前状态所对应的至少两个状态‑动作组合中，确定具有最大Q值的状态‑动作组合所对应的动作，其中，该当前状态为该应用在该第一反馈周期所处的状态；根据该确定的动作，对分配给该应用的资源数量进行调整处理(S230)。

技术领域

本发明实施例涉及信息技术领域，并且更具体地，涉及基于Q学习的资源调度方法和装置。

背景技术

强化学习(reinforcement learning，又称再励学习，评价学习)是一种重要的机器学习方法，在智能控制机器人及分析预测等领域有许多应用。所谓强化学习就是智能系统从环境到行为映射的学习，以使奖励值函数的值最大，强化学习中由环境提供的奖励值函数的值是对动作的好坏进行评价，而不是告诉强化学习系统如何去产生正确的动作。由于外部环境提供的信息很少，强化学习必须靠自身的经历进行学习。通过这种方式，强化学习在行动-评价的环境中获得知识，改进行动方案以适应环境。而Q学习(Q-learning)方法则是强化学习中最经典的算法之一，是一种与模型无关的学习算法。

数据中心可以基于上述Q学习方法进行应用(Application)的资源调度。在基于Q学习的资源调度方法中，可以确定应用所处的当前状态，从该当前状态的所有候选动作(action)中选择具有最大Q值的目标动作，并执行该目标动作；然后，可以确定在该当前状态下执行该目标动作之后进入的下一状态，根据该下一状态的所有候选动作中的最大Q值，更新该当前状态下该目标动作的Q值。然而，在现有的基于Q学习的资源调度方法中，需要大量的反馈周期才能使得应用的各个状态下的候选动作对应的Q值达到稳定的收敛状态，其中，在收敛状态下，针对Q表中的大多数状态，最大的Q值所对应的动作不再发生改变，也就是说，当Q表达到收敛时，在同样的状态下，可以采取同样的动作。

发明内容

本发明实施例提供一种基于Q学习的资源调度方法和装置，能够提高资源调度性能。

第一方面，提供了一种基于Q学习的资源调度方法，包括：在第一反馈周期，根据应用的多个状态-动作组合中的第一状态-动作组合的回报值，将该第一状态-动作组合对应的Q值更新为第一数值，其中，该第一状态-动作组合表示当该应用处于第一状态时执行第一动作，该第一状态为该应用在早于该第一反馈周期的第二反馈周期所处的状态，该第一动作用于对分配给该应用的资源数量进行调整处理；在该第一反馈周期，根据该第一数值，更新该多个状态-动作组合中不同于该第一状态-动作组合的至少一个状态-动作组合对应的Q值；在当前状态所对应的至少两个状态-动作组合中，确定具有最大Q值的状态-动作组合所对应的动作，其中，该当前状态为该应用在该第一反馈周期所处的状态；在该第一反馈周期，根据该确定的动作，对分配给该应用的资源数量进行调整处理。

可选地，应用在第二反馈周期处于第一状态，并且在第一状态下采取第一动作，则可以根据应用在第一反馈周期所处的当前状态，确定该第一状态-动作组合对应的回报值，并根据该回报值，更新该第一状态-动作组合对应的Q值。

在更新该第一状态-动作组合对应的Q值之后，还可以根据该第一状态-动作组合对应的更新后的Q值，即第一数值，更新该应用的不同于该第一状态-动作组合的至少一个状态-动作组合中每个状态-动作组合对应的Q值，能够提高该Q表的各个状态-动作组合对应的Q值的收敛速度，从而提升基于Q学习的资源调度性能。