[发明专利]一种基于强化学习的空调系统的水泵设备运行控制系统

权利要求书

1.一种基于强化学习的空调系统的水泵设备运行控制系统，其特征在于：包括水泵能耗测量模块、室外环境感应测量模块、室内环境感应测量模块、水泵控制系统、水泵运行工况反馈模块和智能控制模块；

所述水泵能耗测量模块用于测量空调系统的水泵设备实际能耗；

所述室外环境感应测量模块用于测量室外环境，得到室外环境的参数；

所述室内环境感应测量模块用于测量客流量和室内环境，得到客流量参数，通过计算室外环境参数和客流量参数得到综合反馈当量值；

所述水泵控制系统用于控制水泵设备；

所述水泵运行工况反馈模块用于反馈水泵运行工况参数；

所述智能控制模块连接并获取所述水泵能耗测量模块、室外环境感应测量模块、室内环境感应测量模块、水泵控制系统、水泵运行工况反馈模块上传的参数数据，通过优化计算后得到水泵设备的最优运行设定参数点，并根据水泵设备的最优运行设定参数点控制水泵设备。

2.根据权利要求1所述一种基于强化学习的空调系统的水泵设备运行控制系统，其特征在于：

智能控制模块控制水泵设备包括读取环境信息、计算动作奖励值、智能学习过程、动作选择过程和环境交互过程；

其中，读取环境信息包括获取室外环境信息、室内环境信息、能耗信息和底层控制器运行状态信息，并从上述环境信息中提取对应参数，求取最佳室内设定点；

包括使用下列公式获得最佳室内设定点；

K＝f(K₁，K₂，K₃，K₄)--公式二；

其中：K₁，K₂，K₃，K₄，K分别表示中间系数，用于公式转换计算用；

T_out表示实时室外温度；

N表示实时室外风速；

V_out表示实时客流量；

V_in表示实时室内风速；

f()表示热舒适理论的PMV计算函数；

T_inset表示最佳室内设定点；

T_inset，0表示标准室内设计值，为标准规范规定的常数。

3.根据权利要求2所述一种基于强化学习的空调系统的水泵设备运行控制系统，其特征在于：

计算动作奖励值包括根据综合反馈当量值得到不同动作的潜在奖励值，具体如下：

使用公式四计算不同动作的潜在奖励值；

其中：

R表示不同动作的潜在奖励值；

α₁，α₂均表示两个预计的能耗与热舒适比例的分配值，热舒适比例为已知常数，(α₁+α₂＝1)；

T_in表示实时室内温度；

T_inset表示最佳室内设定点；

E表示实时能耗值；

E_set表示标准能耗值，为标准规范规定的常数值；

表示已知温度差变换函数，用于将温度差转为分数值，温度差越大，分数越低；

表示已知能量差变换函数，用于将能量差转为分数值，能量差越大，分数越低。

4.根据权利要求3所述一种基于强化学习的空调系统的水泵设备运行控制系统，其特征在于：

智能学习过程：将被控制对象(水泵)视为智能体，按照设定系数考虑未来系列状态对当前选择的累计影响，综合当前动作获得的即时奖励和未来状态的累计奖励，得到智能体不同状态和不同动作的评价值，体现为公式五：

Q＝αR_step+βQ_{step_next}—公式五；

其中：

Q表示动作评价值；

R_step表示当前动作获得的即时奖励，由公式四求得；

Q_{step_next}表示未来状态的累计奖励，由公式四累加求得；

α表示折算系数，α＝0.1；

β表示折算系数，β＝0.5。