[发明专利]基于强化学习的综合能源系统需求响应方法、系统及设备

说明书

本发明公开了一种基于强化学习的综合能源系统需求响应方法、系统及设备，通过构建综合能源系统需求响应优化函数，获取未来一天内的环境变量预测值以及用电数据预测值，将其储存在队列数据结构中，对构建好的用电设备能耗预测模型进行训练，根据训练结果对队列数据结构进行更新并重新训练用电设备能耗预测模型，直至满足迭代截止条件为止，将用电设备能耗预测模型输出的用电设备能耗数据预测值输入到综合能源系统需求响应优化函数进行求解，得到综合能源系统的需求响应。本发明将环境变量和用电设备的用电数据紧密结合，通过不断地对用电设备能耗预测模型进行训练，得到预测效果最佳的用电设备能耗预测模型，提高求解的需求响应策略的准确性。

技术领域

本发明涉及电力领域，尤其涉及一种基于强化学习的综合能源系统需求响应方法、系统及设备。

背景技术

能源生产、消费和节能是当今电力和能源工业面临的许多最紧迫问题的根源。电能需求加速上升，而生产和输送能源能力的增长速度要慢得多。因此，更有效地管理和利用所产生的电能对持续的繁荣发展和生活质量至关重要。其中用以减少用电的活动或项目包括：1)提高用电效率以及节能；2)更有效地管理电力负荷。在提高用能效率方面，现有研究包括开发高用能效率的建筑物和建筑材料、更节能的用电设备等。在负荷用电管理方面，由于智能家电的出现，住宅市场的用电量正在发生根本性的变化。

智能电网框架下智能电器的一个关键需求是需求响应(DR)。总的来说，目前的需求响应方法有以下两种：直接负载控制(DLC)和基于价格的控制(PBC)。基于DLC的需求响应涉及电力公司在负荷高峰时段关闭选定的电器用于处理短期紧急情况，例如电力系统的高频偏差。然而，DLC通常会给能源消费者带来一些不便。由于他们的特殊需求可能得不到满足，消费者常常发现这样做是有风险的，而且参与率似乎很低。随着负荷的增加和可再生能源的普及，DLC似乎是处理需求响应的一种被动方法。

另一方面，PBC涉及到电力公司鼓励消费者积极参与需求响应计划，并根据动态电价来安排用电设备的使用。电力公司通常在他们的动态定价程序中使用每小时实时价格(RTP)或日前价格(DAP)，日前市场对电力生产和消费在运行日前一天制定财务上有约束力的计划。实时市场用以协调任何日前预定发电量和实时负荷之间的差异。目前，文献报道的PBC技术可分为基于RTP的需求响应和基于DAP的需求响应，例如，有学者提出了一种基于RTP的需求响应策略，根据每15分钟发布的电力零售价格控制HVAC负荷；另有学者提出了一种基于实时价格的用电设备在5分钟时间段内最优运行的需求响应模型。然而，目前的需求响应优化方法都是基于用电设备能耗的统计结果，并不是一天内最准确的需求响应策略。

综上所述，现有技术中的需求响应优化方法是基于用电设备能耗的统计结果，存在着不能得到一天内最准确的需求响应策略的技术问题。

发明内容

本发明提供了一种基于强化学习的综合能源系统需求响应方法、系统及设备，用于解决现有技术中的需求响应优化方法是基于用电设备能耗的统计结果，存在着不能得到一天内最准确的需求响应策略的技术问题。

本发明提供的基于强化学习的综合能源系统需求响应方法，包括以下步骤：

S1：根据用电设备的用能特性对用电设备进行分类，基于分类结果构建综合能源系统需求响应优化函数；

S2：获取未来24小时的环境变量预测值以及用电设备的用电数据预测值；其中，用电设备的用电数据预测值包括状态数据预测值以及能耗数据预测值；

S3：采用队列数据结构对用电设备的用电数据预测值进行储存，队列数据结构中每一台用电设备的用电数据预测值为一列数据；

S4：构建用电设备能耗预测模型；