[发明专利]基于强化学习的云边架构下负荷需求响应优化方法及装置

说明书

本发明公开了一种基于强化学习的云边架构下负荷需求响应优化方法及装置，方法包括：在边缘侧计算设备中建立LSTM神经网络模型模拟电力用户参与响应行为，在边缘设备中建立基于A3C强化学习的分布式优化控制网络，通过与训练后的LSTM神经网络模型进行交互，计算优化控制网络参数调整值，并将参数调整值通过通信线路上传至云端控制中心，修正云端的全局优化控制网络；将修正后的云端的全局优化控制网络用于实际电力需求响应的实施中，根据电网运行需求通过补偿价格对用户进行间接控制，同时边缘侧不断收集电力用户实际参与响应的数据，对云端的全局优化控制网络进行定期更新。装置包括：处理器和存储器。本发明缓解电力系统实际实施上的信息通信线路混乱、数据利用不充分等问题。

技术领域

本发明涉及电气信息领域，具体是一种基于强化学习的云边架构下负荷需求响应优化方法及装置。

背景技术

随着电气化的不断发展，用户的用电需求的日渐增加，并呈现大峰谷差、强波动性的特点。为保证电力系统在高峰时刻电能的供应以及电网的平稳运行，通过需求响应，可降低负荷侧用电需求的波动与峰谷差。需求响应主要根据各类用户信息，通过电价或补偿价格等手段对用户行为进行间接控制，使用户按照电网需要改变其用能需求。

随着电力物联网的建设，电力系统运行逐渐采用“云边”架构，通过在负荷侧增设负荷控制器、智能网关、智能电表等边缘侧设备，将大量信息在负荷侧通过边缘计算设备进行初步运算，并将经过处理的信息上传至云端控制中心。如何在云边架构下实施需求响应，成为需要关注的技术热点。

发明内容

本发明提供了一种基于强化学习的云边架构下负荷需求响应优化方法及装置，本发明通过强化学习解决需求响应优化控制中前瞻性不足的问题；通过分布式学习、集中式控制的结构实现用户信息的就地利用，同时缓解电力系统实际实施上的信息通信线路混乱、数据利用不充分等问题，详见下文描述：

第一方面，一种基于强化学习的云边架构下负荷需求响应优化方法，所述方法包括：

在用户侧收集初始用户响应行为历史数据，进行训练数据归一化，建立用户响应行为历史数据集，并存储于边缘侧数据存储设备中；

在边缘侧计算设备中建立LSTM神经网络模型模拟电力用户参与响应行为，并调用存储设备中的历史数据集对LSTM神经网络模型进行训练；

在边缘设备中建立基于A3C强化学习的分布式优化控制网络，通过与训练后的LSTM神经网络模型进行交互，计算优化控制网络参数调整值，并将参数调整值通过通信线路上传至云端控制中心，修正云端的全局优化控制网络；

将修正后的云端的全局优化控制网络用于实际电力需求响应的实施中，根据电网运行需求通过补偿价格对用户进行间接控制，同时边缘侧不断收集电力用户实际参与响应的数据，对云端的全局优化控制网络进行定期更新。

其中，所述在用户侧收集初始用户响应行为历史数据，进行训练数据归一化，建立用户响应行为历史数据集具体为：

其中，x_t为t时段制定的响应补偿价格；d_t为t时段用户的实际响应；x_t为响应补偿价格上下限；d_min和d_max为所有数据中的最大和最小响应值；

历史数据集的建立形式如下所示：

Η＝{(R₁,d₁),(R₂,d₂),…,(R_t-1,d_t-1),(R_t,d_t)}