[发明专利]一种基于深度强化学习的智能电热水器保温档负荷控制方法

说明书

本发明公开了一种基于深度强化学习的智能电热水器保温档负荷控制方法，包括以下步骤：采用LSTM网络利用过去48小时电价预测未来24小时电价；采用基于DQN的深度强化学习算法，将电力消耗和用户满意度同时作为好策略的衡量标准，并根据用户自身的需求调节二者所占比重。根据所预测的电价训练电热水器保温档负荷控制智能体学习得到使得奖励值最高的策略，使其在高电价时选择较低功率，低电价时选择较高功率，在尽可能保证用户满意度的同时节省更多电力消耗，以获得一个性能优良且适用性较高的电热水器负荷控制智能体。

技术领域

本发明涉及一种控制方法，具体涉及一种基于深度强化学习的智能电热水器保温档负荷控制方法，属于智能家居控制技术领域。

背景技术

随着居民生活水平和家用电器智能化水平的提高，人们在选择使用家用电器时就会考虑更多的因素，例如电力消耗和用户满意度。对于许多有电热水器的家庭来说，热水器是24小时一直通电进行保温还是在使用之前打开进行加热是一个值得考虑的问题。如果选择24小时进行通电使热水器的温度一直保持在用户即开即用的状态，虽然用户满意度比较高，但同时会带来较大的电力消耗；如果选择在使用之前打开进行加热，虽然可以省去部分电力消耗，但是用户等待加热的时间太长会减小用户满意度。

为了解决这个问题，电热水器的保温档被设置为多个档位，用户可以根据自身需要在电力消耗和用户满意度之间权衡进而选择合适的档位，但是这样的电热水器负荷控制方法属于手动控制方法，用户早上出门后一天之内档位不会发生变化，缺少一定的灵活度。为了实现自动控制且有效避开电价高峰以节省更多的电力消耗，前人提出了一些基于实际电价的智能电热水器保温档负荷控制方法，但实际应用普遍存在以下局限性：1.以小时为单位波动的电价具有一定的灵活性，将实际电价传至电热水器再进行控制存在很大的延迟。2.大多数负荷控制方法需要对电热水器进行准确地建模，由于内部结构不同，不同种类的电热水器具有不同的模型，分别建模难度较大。因此设计一种基于预测电价且适用于不同种类电热水器的无模型智能电热水器保温档负荷控制方法对于解决电价灵活性高和不同种类电热水器适用性差的问题具有重要的意义。

发明内容

本发明针对前述电热水器保温档负荷控制方法中存在的电价灵活性高和不同种类电热水器适用性差带来的控制问题，实现一种基于预测电价且适用于不同电热水器的无模型智能电热水器保温档负荷控制方法。

为了实现上述目的，本发明的技术方案如下，一种基于深度强化学习的智能电热水器保温档负荷控制方法，主要包括LSTM时序预测技术和基于DQN(DeepQNetwork，深度Q网络)的深度强化学习技术。首先使用LSTM网络根据过去48小时的电价预测未来24小时的电价，之后引入强化学习的方法，基于神经网络训练控制电热水器负荷的智能体，通过对于当前小时预测电价和电热水器水温的观测以及得到的奖励，自动学习电热水器保温档负荷控制的优化过程，得到最优的控制决策，其具体的技术方案包括以下步骤：

步骤S1：采用LSTM时序预测技术预测未来24小时电价；

步骤S2：采用基于DQN的深度强化学习方法训练电热水器保温档负荷控制智能体，最大化长期回报。

其中步骤S1所述的采用LSTM网络预测未来电价，具体方法是：

步骤S11：将当日的电价信息作为输出，所在小时的前48小时电价信息作为输入训练LSTM网络参数；

步骤S12：将最近48小时的电价数据输入LSTM网络预测未来24小时每小时的电价，记为P_i。

其中，步骤S2所述的采用DQN训练智能体控制电热水器保温档负荷以最大化长期回报，具体方法是：

步骤S2具体如下：

步骤S201，初始化经验池D，估计动作值网络Q_θ和目标动作值网络初始化电热水器状态P₀为零时电价，t₀为65℃；