[发明专利]一种电热水器需求响应优化方法、设备及介质

说明书

本发明公开了一种电热水器需求响应优化方法、设备及介质，该方法包括：根据获取的相关数据确定电热水器需求响应优化的知识规则以及构建强化学习模型，结合电热水器控制周期的电价趋势指示信号，对应生成电热水器需求响应优化的第一控制动作以及第二控制动作，并输入预设的控制动作选择器进行处理，根据预设的概率选择第一控制动作与第二控制动作中的一种执行仿真，并结合强化学习状态量以及预设的强化学习回报函数以确定强化学习样本，将强化学习样本输入强化学习模型进行训练至收敛，由其输出的第三控制动作以控制实际电热水器运行。本发明通过结合知识规则和强化学习，以提高电热水器需求响应优化的效率。

技术领域

本发明涉及电力系统优化技术领域，尤其涉及一种电热水器需求响应优化方法、设备及介质。

背景技术

日益重视节能减排的情况下，电力需求响应作为节能减排的重要措施，推行力度越来越大，家用热水器是重要的电力负荷，也是需求响应重要的推行对象，这就要求电热水器具有响应电价信号调整加热时间的能力，进而达到降低电费的目的。家用热水器安装于居民住宅内，居民对打搅敏感，不宜通过人工调节的方式实现需求响应，因此要求热水器自动适应电价、环境水温、热水需求等各种不确定性，实现需求响应自动化。

当前家用实际热水器常用的控制方式是“最大化用户舒适性”，不考虑电价波动，让电热水器中的热水温度总是维持在特定值。这种方法具有全自动化的特点，不需要为每台热水器开发特定的控制方案，然而在需求响应的环境下电价动态变化，而这种方式不区分电价波动，将造成用户电费支出多，与此同时，电力系统根据负荷平衡的要求制定电价，由于这种方法不响应电价，可能消耗电力系统资源平衡负荷，造成社会总能耗增加。

现有技术针对热水器的需求响应进行了大量的研究，这些研究大体上分成三类。第一类是基于规则的需求响应优化，这类研究主要根据未来数小时电价的变化趋势和当前热水温度等信息，用一定规则决策热水器的加热时间，这类方法具有简单、自动化的优点，但这种方法对热水器热力学特性考虑不足，难以得到全局优化解。第二类是基于最优化方法的需求响应优化，这种方法建立热水器热力学数学模型，结合预测的未来一段时间电价、环境水温、热水需求量、环境温度等信息，采用数学方法求解优化方程，得到最优解，这种方法能获得全局优化解，但这种方法具有用户针对性，属于逐例解决的方式，难以推广到千家万户。第三类是学习型的需求响应优化，这类方法的总体思路是获取热水器需求响应优化运行数据，然后用这些数据训练机器学习网络，网络收敛后，用于该热水器需求响应优化，这种方法具有自适应系统不确定性的优点，便于实现需求响应自动化，但电热水器需求响应的优化解非常稀疏，目前，如何高效探索到优化解，从而降低样本采集代价、保证优化的实时性，仍旧是难点问题。

发明内容

本发明目的在于，提供一种电热水器需求响应优化方法、设备及介质，以解决目前针对电热水器需求响应优化效率低且成本较高的问题。

为实现上述目的，本发明提供一种电热水器需求响应优化方法，包括：

根据目标调度日的起始热水温度、目标调度日逐时段电价、目标调度日逐时段环境水温以及目标调度日逐时段热水需求量，确定电热水器需求响应优化的知识规则以及构建强化学习模型；

获取电热水器控制周期的电价趋势指示信号，并结合所述电热水器需求响应优化的知识规则以及所述构建强化学习模型，对应生成电热水器需求响应优化的第一控制动作以及第二控制动作；

将所述第一控制动作与所述第二控制动作输入预设的控制动作选择器进行处理，以使所述控制动作选择器根据预设的概率输出所述第一控制动作与所述第二控制动作中的一种；

根据所述控制动作选择器输出的控制动作输入到数据驱动的电热水器模型执行仿真，并结合强化学习状态量以及预设的强化学习回报函数，确定强化学习样本；

将所述强化学习样本输入所述强化学习模型进行训练至收敛，由其输出的第三控制动作以控制实际电热水器运行。