[发明专利]一种基于深度增强学习的可中断负荷优选方法

说明书

本发明涉及一种基于深度增强学习的可中断负荷优选方法，属于配电网需求响应领域，包括：通过智能电表及量测装置获取t时刻系统的观测状态，并将其作为观察样本；利用所得观察样本，开展基于竞争深度Q网络（dueling deep Q network，DDQN）的神经网络的训练，定期清除观测样本以保证神经网络学习最新的观测状态，经过一定次数的计算迭代得到训练完成的神经网络；读取量测装置中数据获取配电网实时状态，送入训练完成的神经网络中，以可中断负荷动作后节点电压在允许范围内为约束条件，以用户满意度为指标，进行可中断负荷点的筛选，本发明可以自动识别用户用电习惯，筛选出用户满意度相对较高的一组满足运行条件的可中断负荷点，具有良好的应用前景。

技术领域

本发明涉及配电网需求侧管理领域，更具体的，涉及一种基于深度增强学习的可中断负荷优选方法。

背景技术

分布式能源(Distributed energy resource，DER)出力因天气因素的影响具有随机波动性，其在配电网的广泛接入导致配电网电能质量下降，需求侧响应是一种灵活、快捷的用户侧响应手段，由配电网用户直接对自身负荷需求和用电方式进行调整，完全是用户的一种自愿参与行为，旨在快速提高需求弹性、平滑负荷曲线，是提高供电电能质量和优化电网运行的有效措施。

公布号为CN 108767883 A的中国发明专利申请公开了一种需求侧的响应处理方法，包括：获取用户用电历史数据，所述历史数据包括固定功耗设备的用电历史数据和可控功耗设备的用电历史数据；对所述历史数据进行统计，识别出负荷异常点；对去除负荷异常点的历史数据进行统计，得到计费周期内的平均用电数据；以可控功耗设备的功率和时间的关系为自变量、以储能设备的充放电功率和时间的关系为自变量、以可控功耗设备的预设工作周期的总能耗为约束条件、以储能设备的容量为约束条件，以预设工作周期内的最大功率与所述平均用电数据之间的差值最小为优化目标对可控功耗设备的功率和时间的关系和储能设备的充放电功率和时间的关系进行优化；根据优化结果对可控功耗设备和储能设备进行处理，能够同时对可控功耗设备的功率和时间的关系和储能设备的充放电功率和时间的关系进行优化，进一步增加了现有设备在平稳用电的作用，降低了成本的同时还减轻了电网的波动，但只能对历史数据进行统计分析，不能自动识别用户的用电习惯，无法得到最优控制策略，不能引导电力用户合理用电。

发明内容

有鉴于此，本发明的目的是针对现有技术的不足，提供一种基于深度增强学习的可中断负荷优选方法，能够自动识别用户的用电习惯，进一步计及可中断负荷的电压调节能力，同时兼顾用户用电满意度。

为实现上述目的，本发明提供一种基于深度增强学习的可中断负荷优选方法，包括：

(1)通过智能电表及量测装置获取t时刻系统的观测状态s_t，将IL的需求响应策略定义为控制动作a_t；

(2)根据当前状态s_t采取相应的需求响应控制策略a_t，得到配电网即时回报模型r_t+1；

(3)为了使长远回报r_t+1最大化，需要采取最优的动作，即定义IL需求响应的动作估值函数Q^π(s_t,a_t)，根据环境的运行状态观测值，通过迭代进行动作估值函数更新，得到最优动作估值函数的目标值

(4)由目标值与神经网络预计输出Q^π′(s_t,a_t,ω)得到神经网络偏差函数Loss(ω)，通过小批量梯度下降法更新神经网络参数，完成增强学习；

(5)读取量测装置中数据获取当前状态送入已经训练完成的神经网络中，选取最大估值动作以获得最优动作策略。

进一步地，步骤(1)具体包括：