[发明专利]一种基于强化学习的数据中心服务器功耗管理与优化方法

摘要

本发明公开了一种基于强化学习的数据中心服务器功耗管理与优化方法。本发明使用强化学习方法来解决数据中心的功耗管理与优化问题，通过连续地观察数据中心这一随机系统的负载到达、负载分布与功耗使用信息，序贯地做出决策。即根据每个时刻观察到的状态，从可用的行动集合中选用一个行动做出决策。决策者根据新观察到的状态，再作新的决策，依此反复地进行。本发明可以无需任何先验知识，直接在线优化数据中心的负载分配策略，从而降低数据中心的整体运行功耗。

主权项

1.一种基于强化学习的数据中心服务器功耗管理与优化方法，其特征在于该方法包括如下步骤：步骤1：确定数据中心的强化学习模型参数，即初始化数据中心的状态集、动作集、状态转移概率、收益与折扣因子；步骤2：确定数据中心马尔科夫决策的一组状态‑行为对并初始化每个状态‑行为对的值Q(s,a)，即状态s下执行行为a所能带来的收益的大小；步骤3：通过贝叶斯分类器对数据中心负载特征进行识别，对服务器节点上下一次任务到达时间间隔进行预测，确定其间隔分类结果为“长”、“短”或“未知”；步骤4：根据贪心算法择对应的行为a；步骤5：学习代理收集数据中心系统的反馈信息，包括数据中心的功耗、任务分布及能效比；步骤6：基于强化学习结果进行数据中心虚拟机调度，更新数据中心到新状态，并更新状态行为对的值Q(,a)，即状态下执行行为a所能带来的收益的大小；步骤7：不断循环步骤1到步骤6，直到功耗达到最优。