[发明专利]基于深度强化学习的能源互联网中虚拟电厂经济调度方法

说明书

基于深度强化学习的能源互联网中虚拟电厂经济调度方法，它属于虚拟电厂的能源分配技术领域。本发明解决了现有方法存在的通信负载和延迟大、计算复杂度高以及数据传输的可靠性差的问题。本发明提出了基于边缘计算的利用三层体系结构的分布式发电经济调度结构，其中：第一层和第二层是边缘计算层，而第三层是云计算层。所提出的三层边缘计算架构降低了在中央节点处处理训练任务的计算复杂度，并进一步降低了VPP运营商与DG之间的通信负载，因此也降低了工业用户的响应时间，同时还保留了工业用户的隐私，提高了数据传输的可靠性。本发明可以应用于虚拟电厂的能源分配。

技术领域

本发明属于虚拟电厂的能源分配技术领域，具体涉及一种基于深度强化学习的能源互联网中虚拟电厂经济调度方法。

背景技术

随着能源互联网中大规模分布式发电的接入，由于地理条件的限制，传统的微电网存在一定的局限性，阻碍了多区域大规模分布式发电的有效利用，电力削减十分频繁。由于可再生能源站的建设规模与当地负荷的需求不匹配，可再生能源的容纳能力受到限制，导致在风力发电站和光伏电站集中地区出现一定数量的电力削减。与微电网相比，VPP具有更大的能源负荷通道，可以更好地将可再生能源的建设规模与本地负荷的需求规模相匹配，并减少电力削减。

由于经济调度场景的复杂性，例如，管理分布式可再生能源和工业用户的智能设备，需要实时传输大量的不同类型的数据。由于工业用户和VPP运营商之间的密切关系，合理的经济调度应充分考虑用户的参与。工业用户可以通过与VPP运营商签订合同来参与经济调度。VPP运营商需要从需求侧工业用户和DG单元(分布式发电单元)接收数据。由于VPP运营商和设备之间的数据传输需要一定程度的性能保证，以实现最佳的经济调度，因此VPP采用先进的控制，传感和通信技术，以感知和收集数据，并将其传输到VPP的经济调度控制中心。VPP在复杂的情况下实现最佳的经济调度，需要考虑到大多数设备与VPP运营商之间的无线链路，大量数据传输很容易超过传输容量限制。因此，资源有限的批量设备无法直接将需求发送给VPP运营商，这对有效的经济调度构成了重大挑战。

传统上，VPP运营商以集中方式分配地理位置分散的分布式电源。用户的信息和来自多个区域的DG的实时状态数据被发送到云中进行存储和处理，这导致大量的网络通信负载和计算资源消耗。但是，这导致更高的网络延迟和计算复杂度。在实际情况下，从各种DG和工业用户到云计算中心的长距离数据传输会消耗大量能源。而且，传输的数据引起了不同地区的工业用户对隐私的关注。传统的云计算模式需要将本地敏感数据上传到云计算中心，增加了用户隐私泄露的风险。另外，大量数据的产生和传输使得难以准确地保证在复杂环境中数据传输的可靠性。

发明内容

本发明的目的是为解决现有方法存在的计算复杂度高、通信的负载和延迟大、以及数据传输的可靠性差的问题，而提出了一种基于深度强化学习的能源互联网中虚拟电厂经济调度方法。

本发明为解决上述技术问题采取的技术方案是：基于深度强化学习的能源互联网中虚拟电厂经济调度方法，该方法包括以下步骤：

步骤一、对于任意区域i，利用区域i的工业侧服务器和电源侧服务器收集来自于区域i的发电侧和用户侧信息，i＝1,2,…,I，I为区域总个数；

利用各区域收集的信息分别对actor-critic网络进行训练，以分别获得利用各区域信息训练好的actor-critic网络；

步骤二、将训练好的actor-critic网络分别部署在对应区域的边缘节点；

步骤三、各区域的工业侧服务器和电源侧服务器实时收集来自于发电侧和用户侧的信息，并将收集的信息输入对应边缘节点上的actor-critic网络，实时获得各区域的决策信息。