[发明专利]控制方法和计算机可读存储介质

权利要求书

1.一种暖通空调系统的控制方法，所述暖通空调系统包括冷热源系统和末端风盘系统，其特征在于，所述方法包括：

获取初始系统控制模型，所述初始系统控制模型包括第一初始系统控制模型和第二初始系统控制模型，所述第一初始系统控制模型用于控制所述末端风盘系统，所述第二初始系统控制模型用于控制所述冷热源系统；

在第一周期组的第一个周期内，根据所述初始系统控制模型控制所述暖通空调系统；以及

根据控制所述暖通空调系统的历史记录确定每个周期组的系统控制模型，所述历史记录包括控制数据和控制指标，所述控制指标用于表征控制效果；

其中，每个周期组包括两个周期，周期组内的第一个周期的系统控制模型根据上一个周期组的历史记录确定，周期组内的第二个周期的系统控制模型根据第一个周期的系统控制模型更新获得。

2.根据权利要求1所述的方法，其特征在于，获取初始系统控制模型包括：

确定目标建筑的仿真模型，所述仿真模型包括目标建筑的物理组成以及目标建筑中的暖通空调系统；以及

根据所述仿真模型基于输入状态和动作获取所述初始系统控制模型。

3.根据权利要求2所述的方法，其特征在于，根据所述仿真模型基于输入状态和动作获取所述初始系统控制模型包括：

根据所述仿真模型基于第一输入状态和第一动作获取第一初始系统控制模型，所述第一输入状态包括室内温度与目标温度的差值、室外温度与目标温度的差值、冷站供水温度、风盘档位、时间点和日期类型，所述第一动作为选择风盘档位；以及

根据所述仿真模型基于第二输入状态和第二动作获取第二初始系统控制模型，所述第二输入状态包括室外温度、瞬时冷流量、供水温度、时间点和日期类型，所述第二动作为选择供水温度和供回水温差。

4.根据权利要求3所述的方法，其特征在于，根据所述仿真模型基于第一输入状态和第一动作获取第一初始系统控制模型包括：

确定初始深度强化网络模型；

基于深度强化学习算法更新所述初始深度强化网络模型的权重值；以及

将控制所述仿真模型中的末端风盘系统的控制指标优于预定阈值时的深度强化网络模型作为第一初始系统控制模型。

5.根据权利要求4所述的方法，其特征在于，基于深度强化学习算法更新所述初始深度强化网络模型的权重值包括：

获取第一动作、第一奖励函数和当前时刻第一输入状态；

根据所述第一动作和第一奖励函数获取第一奖励值和下一时刻第一输入状态；以及

根据当前时刻第一输入状态、第一动作、第一奖励值和下一时刻的输入状态更新所述初始深度强化网络模型的权重值。

6.根据权利要求5所述的方法，其特征在于，所述第一奖励函数为：

其中，r1为第一奖励值，d实际温度与目标温度的差值。

7.根据权利要求3所述的方法，其特征在于，根据所述仿真模型基于第二输入状态和第二动作获取第二初始系统控制模型包括：

确定初始深度确定性策略梯度网络模型；

基于深度确定性策略梯度算法更新所述初始深度确定性策略梯度网络模型的权重值；以及

将控制所述仿真模型中的冷热源系统的控制指标优于预定阈值时的深度确定性策略梯度网络模型作为第二初始系统控制模型；

其中，所述控制指标用于表征控制效果。

8.根据权利要求7所述的方法，其特征在于，基于深度确定性策略梯度算法更新所述初始深度确定性策略梯度网络模型的权重值包括：

获取第二动作、第二奖励函数和当前时刻第二输入状态；

根据所述第二动作和第二奖励函数获取第二奖励值和下一时刻第二输入状态；以及

根据所述当前时刻第二输入状态、第二动作、第二奖励值和下一时刻第二输入状态更新所述初始深度确定性策略梯度网络模型的权重值。