[发明专利]一种基于强化学习的数据中心能效优化方法和系统

说明书

本发明公开了一种基于强化学习的数据中心能效优化方法和系统，属于云计算技术领域。本发明的一种基于强化学习的数据中心能效优化方法和系统，所述数据中心能效优化系统由数据集成管控系统、IDC动环监控系统和DRL中心模型系统组成。为解决现有数据中心能耗优化方法中存在的能效优化低、成本高的问题，采用一种离线强化学习的方式,通过设计初始的控制策略,记录系统在运行初始策略下的数据，其中包括状态,行动,奖励,并使用标准强化学习/函数模拟组合来学习一个价值函数,用以估算某个状态下采取特定行动对应的累计期望奖励，来获得预测的PUE值。

技术领域

本发明涉及云计算技术领域，具体为一种基于强化学习的数据中心能效优化方法和系统。

背景技术

数据中心是计算机服务器大量存放的建筑场所，它的快速建设保证了信息技术的飞速发展，带来了大量的经济效益；伴随着其建设程度的加深，数据中心带来的能耗问题也愈发严重。数据中心内部的服务器和制冷系统耗电量巨大，由于缺乏科学有效的调控措施，造成了很多的能源浪费；本文针对一类大型的数据中心，分析其能耗构成，对其制冷系统进行能耗优化；

冷却能量优化是一项具有挑战性的任务，因为它涉及到复杂的冷却系统的控制，该系统由多个部件组成，如冷却塔、冷水机组、通风系统等。在直流冷却系统控制中，一种常见的做法是调整设定值，即不同控制变量的目标值。例如，通过将空调出口的温度控制变量设置为所需值，空调可以通过消耗一定的能量来调整其内部状态，使其满足设定值；这些设定值的最佳选择可能是具有挑战性的，因为这个过程依赖于从热动力学到力学的冷却系统知识。

现有数据中心能耗优化方法中存在的能效优化低、成本高的技术问题；因此，不满足现有的需求，对此我们提出了一种基于强化学习的数据中心能效优化方法和系统。

发明内容

本发明的目的在于提供一种基于强化学习的数据中心能效优化方法和系统，采用一种离线强化学习的方式,通过设计初始的控制策略,记录系统在运行初始策略下的数据，其中包括状态,行动,奖励,并使用标准强化学习/函数模拟组合来学习一个价值函数,用以估算某个状态下采取特定行动对应的累计期望奖励，来获得预测的PUE值，可以解决现有技术中的问题。

为实现上述目的，本发明提供如下技术方案：一种基于强化学习的数据中心能效优化系统，所述数据中心能效优化系统由数据集成管控系统、IDC动环监控系统和DRL中心模型系统组成；

数据集成管控系统通过对数据中心总体架构、设备组成与分布、IT设备部署等情况进行分析，进而分析数据中心能耗组成、占比情况，并对影响能耗的因素进行逐一梳理；

在得到数据中心设备能耗组成与环境条件后，对设备间、设备与环境间的关联和影响关系进行分析，随后将数据整合后发送至IDC动环监控系统；

IDC动环监控系统是通过能耗模型服务于数据中心能耗管理，建模完成后可以对数据中心能耗情况进行预测，并为能效优化提供基础支撑；

能耗数据采集主要完成温度、负载、IT设备、UPS、空调等环境信息与设备状态的实时数据采集，其中，能耗建模是以外部数据、历史数据、实时数据等为基础，结合深度学习的数学模型，从而构建准确的能耗模型；

DRL中心模型系统通过对能耗组成和关联情况的分析，并结合数据中心能耗数据采集和设备自动化控制等方面的因素，从数据中心总体、子系统、设备三个层级，综合选择适用于数据中心能耗建模、易于数据中心能耗优化的模型；

其中，能耗模型会根据数据中心实际情况和三个层级各自的特点，分别选择聚类、线性回归、深度学习等数据挖掘方法，模型和数据选择完成后，需要完成对模型的训练，在训练过程中，应当调整参数不断优化模型，并利用新生成的数据对模型的效果进行验证和改进。

优选的，所述数据集成管控系统包括总体架构单元、设备部署单元、功能特性单元、环境数据单元、配置数据单元和运行数据单元。