[发明专利]一种基于强化学习的数据中心服务器功耗管理与优化方法

说明书

本发明公开了一种基于强化学习的数据中心服务器功耗管理与优化方法。本发明使用强化学习方法来解决数据中心的功耗管理与优化问题，通过连续地观察数据中心这一随机系统的负载到达、负载分布与功耗使用信息，序贯地做出决策。即根据每个时刻观察到的状态，从可用的行动集合中选用一个行动做出决策。决策者根据新观察到的状态，再作新的决策，依此反复地进行。本发明可以无需任何先验知识，直接在线优化数据中心的负载分配策略，从而降低数据中心的整体运行功耗。

技术领域

本发明涉及数据中心的系统资源管理与分配的自动化方法，尤其是数据中心服务器上功耗可感知的多虚拟机分配方法。

背景技术

随着云计算、大数据、机器学习等技术的发展，为了满足大量用户对数据存储、处理与智能分析的需求，数据中心的规模变得越来越大，同时也导致其能耗成本居高不下。能耗问题已经成为制约数据中心可扩展性、可靠性与服务质量的关键问题。近年来，数据中心的功耗管理与优化已经成为工业界和学术界广泛关注的问题。在保证数据中心正常业务及安全可靠运行的同时，最大限度地降低电能等运营成本，提升各类云服务的性价比与市场竞争力，对云服务提供商显得极其重要。

为提供弹性的计算、存储与数据分析服务，目前的数据中心一般采用虚拟化的部署方案，即在物理服务器上运行虚拟机监控器程序(Virtual Machine Monitor,VMM)，由虚拟机监控器创建和管理客户操作系统(Guest OS)，即虚拟机(Virtual Machine,VM)，将服务器硬件资源在多个虚拟机之间共享，达到提高资源利用率和灵活管理的目的。由于数据中心任务负载的动态性(如负载类型、负载强度、负载的时空分布等动态变化)，数据中心各服务器的使用率也随之动态变化。数据中心任务动态到达与服务器节点动态变化的特点，使得其是一个典型的具有马尔可夫性的随机动态系统，即系统的未来状态是随机的，并且其状态转移概率具有马尔可夫性。另外，由于不同服务器的硬件配置及其性能的异构性，导致其上运行不同类型、不同强度的负载时其功耗也具有较大的变化。因此，传统的经验型的、半自动半手动的数据中心功耗管理方法，已无法适应弹性云计算环境下数据中心的动态可扩展、自适应的系统架构与严苛的服务质量与可靠性要求，也无法针对负载变化动态优化数据中心的负载分布和功耗分布，从而降低整个数据中心的能耗。

数据中心在运行过程中产生了大量的运行日志，包括服务器硬件设备状态信息、资源使用信息、任务运行时信息、各类部件的功耗信息等，这些日志数据反映了数据中心实时的运行状态及其资源分配情况，通过对这些数据的挖掘和分析，可以剖析数据中心的运行模式，包括任务特征(任务到达模式、任务持续时长、任务等待时间、任务完成时间等)和服务器功耗及资源分配模式，用以指导数据中心的功耗管理与优化。

发明内容

本发明针对现有技术的不足，提出了一种基于强化学习的数据中心服务器功耗管理与优化方法。本发明降低数据中心功耗的主要方式为马尔科夫决策过程下基于强化学习的数据中心虚拟机调度。本发明首先对负载特征进行预测，识别出服务器节点所处的状态，使用建立的数据中心虚拟机预测模型判断当前节点是否可以置于睡眠状态、增加或降低节点上的虚拟机负载以提高数据中心整体能效比，即服务器每单位瓦特耗电量下完成的任务量。同时，使用强化学习方法来学习当前服务器节点是否需要把其上的虚拟机迁移出去以及迁移到哪些对应的服务器节点上，其中的强化学习是一种具有与环境进行交互学习并不断优化其策略以达到系统最优的优化控制方法。

该发明具体包括两部分：对负载特征进行预测的贝叶斯分类方法和基于强化学习的虚拟机调度方法。

(1)对负载特征进行预测的贝叶斯分类方法

通过预测当前数据中心服务器节点上下一次任务到达的时间间隔，可以根据任务间隔时间来对任务进行优化的分配和调度，以节省数据中心功耗。本发明的负载特征贝叶斯分类方法可以克服传统的基于线性组合的任务间隔预测方法误差过大及稳定性差的缺点，通过把间隔时间分成“长，短”的二分类问题，提高分类准确率，且易于工程化部署。

(2)基于强化学习的虚拟机调度方法