[发明专利]一体化数据中心柜末端空调系统节能优化方法及装置

说明书

本发明公开了一种一体化数据中心柜末端空调系统节能优化方法及装置，该方法包括：确定一体化数据中心柜末端空调系统的马尔可夫决策过程模型；构建一体化数据中心柜仿真环境；在所述仿真环境中，基于马尔可夫决策过程模型，对基于价值的函数逼近型差分强化学习算法进行训练，输出训练好的动作价值函数，在训练过程中通过不断更新时序差分误差、平均收益估计值，实现对动作价值函数的参数的更新；基于训练好的动作价值函数，实时获取当前时刻最大动作价值函数值对应的动作；获得当前时刻最大动作价值函数值对应的动作对应的空调压缩机的开关状态。本发明可以对一体化数据中心柜末端空调系统进行节能优化，效果好，实施难度小。

技术领域

本发明涉及节能环保技术领域，尤其涉及一种一体化数据中心柜末端空调系统节能优化法方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

一体化数据中心柜集机架式内置末端空调系统、配电系统、不间断电源、报警系统、照明系统、消防系统等于一个机柜中，为IT设备提供了一个完整的运行环境，并且可以快速模块化部署，在节能降耗、设计部署等方面较传统数据中心有显著优势。数据中心中最大的能源消耗是冷却基础设施，大约1/3到1/2的数据中心总功耗用于制冷系统，数据中心日益增长的能源消耗要求通过更好的热管理来提高能源利用效率。数据中心内部温度场分布复杂，而在保证服务器热安全的前提下，最大程度降低数据中心制冷系统运行功耗是一个关键挑战和技术难题。因此，需要进行一体化数据中心柜末端空调系统节能优化。

传统的解决数据中心制冷系统节能优化问题的方法大多是基于两阶段(two-stage)框架的。在第一阶段，通过机理分析的方法或数据驱动的方法建立一个近似的系统模型，该模型通常包含流体动力学、传热和机械原理，需要考虑到数据中心内温度场的分布情况。在第二阶段，利用该近似系统模型，通过优化算法求解得到最优决策序列。常见的数据中心制冷系统的能耗优化算法主要有Rollout算法、模型预测控制算法等等。

这些基于两阶段框架的传统优化方法需要先建立数据中心的近似系统模型，而数据中心温度场的分布涉及到流体动力学、传热学等专业知识，若使用机理分析的方法建模则需要建立复杂的偏微分方程组，对于近年规模日益扩大的大型数据中心来说，建立其机理模型过程复杂、难度较大且容易出错，因此这些传统的基于模型的优化算法难以解决现在数据中心制冷系统的节能优化问题。

无模型(Model-Free)的强化学习方法在与环境交互的过程不断学习得到最优节能策略，不需要系统的动态特性已知。正由于数据中心内部温度场分布的机理模型非常复杂，因而采用无模型的强化学习方法解决数据中心制冷系统的节能优化问题是一个有效的办法。例如，可以将数据中心制冷系统的运行过程建模为马尔可夫决策过程，使用常用的无模型强化学习算法(例如深度Q学习、深度双Q学习、深度确定性策略梯度算法等)训练得到最优节能策略,目前已有部分论文和专利采用该类方法去解决数据中心制冷系统的节能优化问题。但是上述基于无模型的强化学习方法的技术方案存在以下不足：(1)现有算法训练出来的控制策略的长期节能效果不是最优的；(2)部分技术方案考虑到整个制冷系统的构造和运行，方案实际实施难度大。

发明内容

本发明实施例提供一种一体化数据中心柜末端空调系统节能优化方法，用以对一体化数据中心柜末端空调系统进行节能优化，效果好，实施难度小，该方法包括：

确定一体化数据中心柜末端空调系统的马尔可夫决策过程模型；

构建一体化数据中心柜仿真环境；

在所述仿真环境中，基于马尔可夫决策过程模型，对基于价值的函数逼近型差分强化学习算法进行训练，输出训练好的动作价值函数，在训练过程中通过不断更新时序差分误差、平均收益估计值，实现对动作价值函数的参数的更新；

基于训练好的动作价值函数，实时获取当前时刻最大动作价值函数值对应的动作；