[发明专利]一种数据中心能耗联合优化方法、系统、介质及设备

说明书

本发明公开了一种数据中心能耗联合优化方法、系统、介质及设备，构建数据中心多智能体环境；根据scheduling_agent的状态空间、动作空间和奖励函数构建任务调度强化学习模型；根据cooling_agent的状态空间、动作空间和奖励函数构建温度调控强化学习模型；基于任务调度强化学习模型和温度调控强化学习模型构建异构多智能体强化学习的联合控制模型，向联合控制模型中导入构建的数据中心多智能体环境；使用联合控制模型，以数据中心整体能耗最小化为目标集中训练scheduling_agent与cooling_agent，使用联合控制模型训练得到的scheduling_agent与cooling_agent，根据各自的观测信息执行以降低自身能耗为目标的动作策略，同时保证动态数据中心环境的平衡，实现整体能耗最小化。本发明在降低计算能耗与制冷能耗之间取得平衡，同时降低数据中心的整体能耗。

技术领域

本发明属于数据中心能耗管理技术领域，具体涉及一种数据中心能耗联合优化方法、系统、介质及设备。

背景技术

随着机器学习、云计算等技术的不断发展，数据中心的规模不断扩大以顺应“数字新基建”的时代要求，随之数据中心的能耗成本也不断增加。截止2019年，数据中心用电量连续8年以超过12％的速度增长，预计到2025年，中国数据中心总耗电量占比将达到4.05％。其中，IT设备和制冷设备是数据中心的主要能耗来源，两者的能耗通常占用数据中心总额能耗的85％。要降低数据中心能耗，重点在于提升数据中心的技术，关键要从IT设备计算效率以及冷却系统制冷效率两方面入手。

IT设备的计算能耗约占数据中心总能耗的45％，对物理资源进行集中管理、合理分配和有效调度，可以使数据中心保持理想的资源有效利用状态，使节约能源的途径之一。资源管理是典型的决策问题，因此可以使用强化学习算法代替传统的启发式算法，通过资源管理器与环境的自主交互，主动学习资源调度的策略，并根据环境反馈优化资源分布，提高资源利用率，从而降低计算能耗。

对于制冷设备，目前数据中心普遍使用的是精密空调CRAC，空调的制冷能耗约占数据中心总能耗的40％。由于数据中心运行条件缺乏透明性，空调系统不得不设置过低的温度来降低热点的风险，从而导致过度的能量消耗。对空调温度的自动调控和优化同样可以使用强化学习的方法，空调自主地与环境互动，观测温度等信息选择调控策略，根据奖励反馈机制不断优化策略，最终达到降低制冷能耗的目的。

但是，单独控制IT设备或制冷设备并不能达到降低数据中心整体能耗的目的。如果一味降低计算能耗，资源倾向于集中到某些服务器，则有造成局部热点的风险，需要制冷设备设置足够低的温度，造成制冷能耗的浪费。而一味降低制冷能耗，温度设定在适宜范围内越高越好，则无法保证IT设备的安全。

在数据中心中，空调与IT设备等存在相互影响，具有很强的不稳定性，因此可以看作一个非常复杂的多智能体系统。在多智能体环境中，每个智能体都和环境进行交互，但对于每个智能体而言，外界环境是不断变化且没有规律的，每个智能体只能得到的环境的一部分观察信息。为了解决多智能体强化学习问题，目前有基于Actor-Critic框架的多智能体确定性策略梯度算法MADDPG、基于DQN的QMIX等多智能体强化学习算法，此类算法采用集中式训练、分布式执行的思想，能够解决多智能体环境不稳定、智能体间相互影响导致学习复杂化等问题，但是并未应用于数据中心领域，且多应用于同构多智能体系统。

在数据中心这样的复杂环境中，空调、IT设备等作为智能体具有不同的结构，从环境中得到的观察信息类型也不尽相同，因此已有的多智能体强化学习方法不能简单的应用于数据中心环境。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种数据中心能耗联合优化方法、系统、介质及设备，解决当前数据中心存在的热量分布不平衡导致的制冷能耗浪费的问题，在降低计算能耗与制冷能耗之间取得平衡，同时降低数据中心的整体能耗。

本发明采用以下技术方案：