[发明专利]一种基于深度强化学习的智能电热水器保温档负荷控制方法

权利要求书

1.一种基于深度强化学习的智能电热水器保温档负荷控制方法，其特征在于，所述方法包括以下步骤：

步骤S1：采用LSTM时序预测技术预测未来24小时电价；

步骤S2：采用基于DQN的深度强化学习方法训练电热水器保温档负荷控制智能体，最大化长期回报；

步骤S2具体如下：

步骤S201，初始化经验池D，估计动作值网络Q_θ和目标动作值网络初始化电热水器状态P₀为零时电价，t₀为65℃；

步骤S202，电热水器保温档负荷控制智能体有5种功率可以选取，动作空间记为A＝{0.2Kwh，0.45Kwh，0.7Kwh，1.0Kwh，1.5Kwh}，电热水器以ε的概率采取贪婪算法选取动作argmax_aQ(s_i,a；θ)，以(1-ε)的概率随机选取动作a_i；

步骤S203，i小时的状态观测值为s_i＝[P_i,t_i]，其中参数P_i代表第i小时的电价，是与时间相关的变量；参数t_i代表第i小时的电热水器水温，是与智能体选取的控制动作相关的变量；

步骤S204，状态转移s_i+1＝f(s_i,a_i)，其中P_i转换至P_i+1，P_i+1为预测电价信息中第i+1小时的电价；t_i转换至t_i+1,t_i+1＝t_i+Δt_i,Δt_i为智能体控制动作a_i带来的第i小时电热水器水温的变化；

步骤S205，奖励函数r＝-(β*0.001*(P_i-4.6)*PR+2*(65-t_i))，其中，0.001*P_i*PR表示电力的消耗，-4.6是为了让智能体在电价低于4.6EUR/Mwh时选择较大功率避免水温下降太快，2*(65-t_i)表示当用户需要用水时加热到65℃所需要等待的时间，用它来衡量用户满意度的大小,β表示电力消耗和用户满意度之间的平衡系数，电热水器负荷控制智能体执行动作a_i，观测奖励值和下一时刻的状态s_i+1；

步骤S206，将(s_i,a_i,r_i,s_i+1)记录进经验池D中；

步骤S207，从经验池D中随机抽取迷你批样本(s_j,a_j,r_j,s_j+1)；

步骤S208，根据目标动作值网络参数计算目标动作值，与估计值网络参数θ无关，公式其中θ^-为目标网络的参数；

步骤S209，最小化损失函数J(θ)＝E[(y_j-Q(s_j,a_j；θ))²]，通过梯度下降法进行反向传播更新估计值网络θ的参数；

步骤S210，重复步骤S202-S209，每隔N步将估计动作值网络参数复制给目标动作值网络参数以更新目标动作值网络参数；

步骤S211，重复步骤S201-S210，直到学习出使得奖励值最大的策略π。

2.根据权利要求1所述的基于深度强化学习的智能电热水器保温档负荷控制方法，其特征在于，步骤S1所述的采用LSTM网络预测未来电价，具体方法是：步骤S11：将当日的电价信息作为输出，所在小时的前48小时电价信息作为输入训练LSTM时序参数；

步骤S12：将最近48小时的电价数据输入LSTM网络预测未来24小时每小时的电价，记为P_i。