[发明专利]中央空调节能自控系统

权利要求书

1.一种中央空调节能自控系统，其特征在于，包括：

数据采集模块，用于采集环境数据、空调机械设备运行状态数据以及空调系统设置参数数据，组成采集数据；

数据预处理模块，用于对数据采集模块采集的采集数据依次进行平滑和归一化处理；

增强学习模型，用于对预处理后的环境数据、空调机械设备运行状态数据进行计算，输出空调系统的预测设置参数数据，并对预处理后的采集数据进行学习，更新增强学习模型参数；

空调自动调控模块，用于通过OPC协议，自动按照增强学习模型输出的预测设置参数数据调整空调系统的设置参数；

人为控制模块，用于为用户提供可视化界面和可操作接口，便于用户监控空调系统的运行状况，和根据意愿开启或关停空调系统；

所述增强学习模型包括评价网络Q(s,a|θ^Q)、行为网络μ(s|θ^μ)、目标评价网络Q’(s,a|θ^Q’)、目标行为网络μ’(s|θ^μ’)，s为环境状态数据，a代表行为数据，θ为网络参数；

增强学习模型的每次迭代的具体过程为：

(a)利用行为网络对输入的t时刻环境状态数据s_t进行计算，输出行为a_t＝μ(S_t|θ^μ)+N_t，其中，中N_t代表一个随机过程，通常使用OU过程作为探索的随机过程，该行为a_t即为预测设置参数；

(b)利用目标行为网络对输入的t+1时刻环境状态数据s_t+1进行计算，输出目标行为a_t+1，并将(环境状态数据s_t，行为a_t，t时刻行为a_t带来的奖励值r_t，目标行为a_t+1)保存入缓存，以便训练的时候从缓存中获取一部分历史数据来训练；

(c)利用目标评价网络对输入的t+1时刻环境状态数据s_t+1和目标行为a_t+1进行计算，输出评价值Q’；

(d)根据评价值Q’和t时刻行为a_t带来的奖励值r_t，利用公式(1)获得目标值y_t；

y_t＝r_t+γQ’(s_t+1,μ’(s_t+1|θ^μ’)|θ^Q’) (1)

(e)利用评价网络对输入t时刻的环境状态数据s_t和t时刻的行为a_t进行计算，输出评价值Q，利用该评价值Q与行为a_t一起更新行为网路的参数；

(f)以目标值y_t与评价值Q的残差作为损失函数L，更新评价网路；

(g)利用更新后的评价网路参数和行为网络参数，更新目标评价网路参数和目标行为网络参数。

2.如权利要求1所述的中央空调节能自控系统，其特征在于，数据采集模块通过Python语言和OPC协议与空调系统中的硬件设备进行通信，实现数据采集，并将采集数据保存至SQLite数据库。

3.如权利要求1所述的中央空调节能自控系统，其特征在于，所述的数据采集模块包括：

环境数据采集模块，用于实时获取冷却水出水温度和进水温度、冷冻水的出水温度和进水温度，组成环境数据；

空调机械设备运行状态数据采集模块，用于实时获取冷冻水水泵功率、冷却水水泵功率以及主机功率，组成空调机械设备运行状态数据；

空调系统设置参数数据采集模块，用于实时获取冷冻水水泵频率、冷却水水泵频率以及主机运行组数，组成空调系统设置参数数据。

4.如权利要求1所述的中央空调节能自控系统，其特征在于，在数据预处理模块中：

对环境数据、空调机械设备运行状态数据进行平滑和归一化处理后，形成环境状态数据；

对空调系统设置参数数据进行平滑和归一化处理后，形成行为数据。