[发明专利]一种基于多智能体强化学习的多数据中心协同节能方法

说明书

本发明公开了一种基于多智能体强化学习的多数据中心协同节能方法，根据每个数据中心的机柜出风口温度和机柜的负载，对每个数据中心中的IT系统单元、冷却系统单元分别建模得到IT负载模型和热模型；根据多数据中心混合系统在云端执行任务时的时延建立传输时延模型，结合得到的IT负载模型和热模型，得到目标函数；根据单数据中心IT‑冷却系统的状态空间和任务调度的行动空间，结合所述目标函数，构建参数化多智能体深度强化学习模型；利用参数化多智能体深度强化学习模型训练AI引擎；对每个数据中心，将采集到的实时数据中心状态信息输入到训练好的AI引擎中，输出单数据中心IT‑冷却系统的最优控制策略。

技术领域

本发明涉及数据中心节能领域，具体涉及一种基于多智能体强化学习的多数据中心协同节能方法。

背景技术

随着大数据和人工智能时代的到来，对数据中心的需求越来越高，数据中心的能耗和环保问题日益凸显，并且数据中心存在高能耗、低能效的问题，严重制约了数据中心的长期应用；由于边缘计算可以避免资源受限的终端设备频繁地将大量计算任务交付到中央云(Central Cloud)，从而减少了传输时延和回程拥塞。然而，边缘服务器的计算资源非常稀缺，不能快速响应突发性的大量计算需求。因此，在计算密集型环境(例如，由物联网应用程序组成的计算环境)中，排队延迟是不可忽略的。此外，当工作负载较重时，边缘服务器的计算能耗可能会高于云服务器。因此，需要可靠有效的算法来实现边缘云-中央云的多数据中心协作，达到降低能耗且满足任务服务质量需求(比如：延迟)的目的。

数据中心的能耗主要分成两部分，一部分是信息技术(Information Technology，IT)系统完成机算和处理等消耗的能量，另一部分是冷却系统单元为使IT系统单元温度控制在一定范围所消耗的能量，如空调等消耗的能量。因此以往主要从这两个方面考虑节能：首先，从IT系统单元能耗方面考虑，可以1)采用新型节能处理器，可以在保证同等处理能力的前提下，降低IT系统单元能耗；2)关闭、休眠或降频空闲设备可以降低能耗；3)采用任务调度或者资源配置算法，可以提升资源利用效率，用更少的设备(更少的能耗)完成更多的任务。其次，从制冷系统能耗方面考虑，可以1)改进制冷系统硬件设施节能；2)优化冷却设备参数(如风冷机组的风速、设定温度等)来控制制冷容量，可以在保证IT设备安全运行前提下实现制冷设备节能。但是，一方面，依赖于高能效硬件设施改造的节能措施具有一定的局限性，不适合所有已建或者在建的数据中心。另一方面，现有的通过调节IT或者制冷系统参数而实现节能的算法，大多基于特定的数学模型，算法精度不高，也不能充分捕捉IT或者制冷系统的负载及温度动态特性。因此，实用性和可部署性较差。

深度强化学习为高维高动态的数据中心节能提供了关键技术。深度强化学习的以下特性使其适合数据中心节能优化：1)不依赖于精确的和数学上可解的系统模型(Model-free)；2)能够应对时变的系统状态、终端设备需求等高动态的时变环境；3)能够处理复杂的状态空间。但是，原生的深度强化学习(如Deep Q-Network)仍然还不直接适用于数据中心的节能，这是因为：1)联合优化TI系统和冷却系统需要面临混杂的联合行动空间。IT系统单元将任务分配到特定服务器，其行动空间是离散的，而制冷系统是通过控制空冷机组(ACU)的出风口温度或者风速实现冷却容量的调整，其行动空间是连续的；2)多数据中心协同节能时，需要解决协作机制、分布式学习和决策等问题。

发明内容

本发明目的在于提供一种基于多智能体强化学习的多数据中心协同节能方法，引入参数化多智能体强化学习方法，将每一个数据中心都看作一个智能体，有效协调多数据中心，解决IT-制冷系统混杂的行动空间问题，能够高效地匹配IT和制冷系统的动态特性，为单个数据中心IT系统和制冷系统提供最优控制策略，实现多数据中心协同节能。

本发明通过下述技术方案实现：