[发明专利]一种基于强化学习的数据中心服务器功耗管理与优化方法

权利要求书

1.一种基于强化学习的数据中心服务器功耗管理与优化方法，其特征在于该方法包括如下步骤：

步骤1：确定数据中心的强化学习模型参数，即初始化数据中心的状态集、动作集、状态转移概率、收益与折扣因子；

其中所述的强化学习模型由代理，有限状态空间S和行为空间A以及反馈函数R组成；把数据中心上代理和环境的交互看作一个静态的决策过程，通过把连续时间离散化为一组非连续序列{t₀,t₁,t₂,…,t_k,…}，在时刻t_κ，数据中心转换到状态s_k∈S，且代理会捕获到这一信息；

所述行为空间A代表当数据中心总体能效比小于设定能效比阈值时所采取的行为，所述行为有三种，分别为：把节点置于休眠状态，增加该节点上的虚拟机数量，减少该节点上的虚拟机数量；

步骤2：确定数据中心马尔科夫决策的一组状态-行为对并初始化每个状态-行为对的值Q(s,a)，即状态s下执行行为a所能带来的收益的大小，所述的状态s定义为服务器节点状态，包括CPU利用率，内存利用率，服务器当前能效比值以及节点上运行的任务类型；

步骤3：通过贝叶斯分类器对数据中心负载特征进行识别，对服务器节点上下一次任务到达时间间隔进行预测，确定其间隔分类结果为“长”、“短”或“未知”；

步骤4：根据贪心算法择对应的行为a；

步骤5：学习代理收集数据中心系统的反馈信息，包括数据中心的功耗、任务分布及能效比，所述的能效比定义为数据中心当前时刻的成功执行的任务数与当前时刻系统的总体功耗比值；

步骤6：基于强化学习结果进行数据中心虚拟机调度，更新数据中心到新状态s′，并更新状态行为对的值Q(s′,a)，即状态s′下执行行为a所能带来的收益的大小；具体是：

给所有的状态行为对初始化一个初值，当数据中心能效比不满足阈值要求时，系统从策略中选出对应的行为a；被选中行为如果是将节点置于休眠状态的话，就将其上面的虚拟机置于待转迁移虚拟机列表上；由于当前主流服务器能效比曲线的凸函数特点，如果当前节点上虚拟机负载过大，也需要将其上的部分虚拟机置于待转迁移虚拟机列表上，并确定接收这些虚拟机的目标节点；如果服务器节点因虚拟机负载过低而导致系统能效比较低，则这些节点即是虚拟机迁移的目标节点；如果数据中心负载过高，即待转迁移虚拟机列表上的虚拟机没有足够多的目的节点进行迁移，则将数据中心中处于休眠状态的节点激活或者开机添加新的节点；在调度和迁移行为执行结束之后，自动收集这些行为带来的反馈影响值，进而进行更新Q值，以得到更优的反馈结果；

步骤7：不断循环步骤1到步骤6，直到功耗达到最优；

其中步骤3中贝叶斯分类器预测过程为：计算已知条件下未来任务负载可能分布的概率，从中选择概率最大的类别作为预测结果，预测当前服务器节点上的下一个任务的到达间隔时间，把间隔时间分成“长”、“短”、“未知”三类，计算已知条件下未来任务负载可能分布的概率，从中选择概率最大的类别作为预测结果，预测当前服务器节点上的下一个任务的到达间隔时间，以此来判断是否可以把当前服务器节点置于睡眠状态。