[发明专利]一体化数据中心柜末端空调系统节能优化方法及装置

权利要求书

1.一种一体化数据中心柜末端空调系统节能优化方法，其特征在于，包括：

确定一体化数据中心柜末端空调系统的马尔可夫决策过程模型；

构建一体化数据中心柜仿真环境；

在所述仿真环境中，基于马尔可夫决策过程模型，对基于价值的函数逼近型差分强化学习算法进行训练，输出训练好的动作价值函数，在训练过程中通过不断更新时序差分误差、平均收益估计值，实现对动作价值函数的参数的更新；

基于训练好的动作价值函数，实时获取当前时刻最大动作价值函数值对应的动作；

获得当前时刻最大动作价值函数值对应的动作对应的空调压缩机的开关状态；

所述马尔可夫决策过程模型包括末端空调系统的状态、动作和奖励函数，其中，

末端空调系统的状态表示为：

其中，S_t为t时刻末端空调系统的状态；T_tⁱⁿ、T_t^out、T_t^ret、分别为t时刻服务器进风口温度、t时刻服务器出风口温度、t时刻空调回风温度、t时刻服务器的负载率；

末端空调系统的动作表示为：

A_t＝θ_t

其中，A_t为t时刻的动作；θ_t为t时刻空调压缩机的开关状态；

奖励函数表示为：

其中，为t时刻采取了动作A_t后末端空调系统运行功耗对应的收益；为t时刻采取了动作A_t后服务器出风口温度对应的收益；λ为参数。

2.如权利要求1所述的方法，其特征在于，末端空调系统运行功耗对应的收益表示为：

其中，P_t为t时刻末端空调系统制冷功率；

服务器出风口温度对应的收益表示为：

或

其中，为t+1时刻服务器出风口温度，为服务器出风口允许温度上限，为服务器出风口允许温度下限。

3.如权利要求1所述的方法，其特征在于，确定一体化数据中心柜末端空调系统的马尔可夫决策过程模型，包括：

根据末端空调系统运行原理和末端空调系统运行功率确定一体化数据中心柜末端空调系统节能问题的优化目标、约束条件；

分析所述优化目标和约束条件，确定一体化数据中心柜末端空调系统节能问题的决策变量为空调压缩机的开关状态；

基于所述优化目标和约束条件，确定所述马尔可夫决策过程模型的状态和奖励函数；

基于所述决策变量，确定所述马尔可夫决策过程模型的动作。

4.如权利要求3所述的方法，其特征在于，在所述仿真环境中，基于马尔可夫决策过程模型，对基于价值的函数逼近型差分强化学习算法进行训练，输出训练好的动作价值函数，包括：

确定训练时间步数、学习率、平均收益因子和动作价值函数，所述动作价值函数包含末端空调系统的状态、动作和参数；

任意初始化动作价值函数的参数，任意初始化平均收益估计值，初始化末端空调系统的状态；

循环执行以下步骤，直至达到训练时间步数，输出训练好的动作价值函数：

使用从动作价值函数中得到的策略，选择当前时刻的动作；

采取当前时刻的动作，通过仿真环境获得下一时刻末端空调系统的状态的观测值，计算下一时刻的奖励函数值，并将当前时刻末端空调系统的状态的观测值和动作、下一时刻末端空调系统的状态的观测值和奖励函数值放入经验池中；

在经验池中采样一个任意时刻的四元组，所述任意时刻的四元组包括任意时刻末端空调系统的状态的观测值和动作、所述任意时刻的下一时刻的末端空调系统的状态的观测值和奖励函数值；

根据所述任意时刻的四元组，更新时序差分误差；

根据更新的时序差分误差和平均收益因子，更新平均收益估计值，所述平均收益估计值为当前时刻对平均收益的估计；

根据所述任意时刻的动作价值函数值、学习率、更新的时序差分误差，更新动作价值函数的参数。