[发明专利]一种基于最大熵离线式的能源存储与负载的优化方法

说明书

本发明公开了一种基于最大熵离线式的能源存储与负载的优化方法，包括创建行动者神经网络和评论家神经网络，并初始化行动者网络参数和评论家网络参数；通过行动者神经网络对能源系统的系统状态信息进行训练，得到能源调度方法；通过评论家神经网络对能源系统的运行反馈信息和能源调度方法进行训练，得到评估信息；在熵约束参数的约束下，根据评估信息对行动者网络参数、评论家网络参数及存储‑能效约束参数进行优化；基于优化后的行动者网络参数和评论家网络参数重复训练，直至得到的能源调度方法满足优化目标。本发明基于软行动者‑评论家方法能够自动与环境进行交互，动态优化更新能源调度方法，满足能源的存储与不同负荷的需求之间的负载均衡。

技术领域

本发明涉及能源领域，特别涉及一种基于最大熵离线式的能源存储与负载的优化方法。

背景技术

当前各种基础能源设备的利用率较低，不同种类负荷之间的需求存在明显的错峰现象。由于各个能源供应系统之间独立运行，各系统只能根据自身的峰值负荷进行设计和施工，导致设备利用率低，加大了运行维护费用，增加了社会的整体运行成本，同时也导致总体的能源效率降低，加重了对环境的污染。

构建清洁低碳、安全高效的综合能源体系是我国重点建设和发展的方向。综合能源体系既包含多样的能源供应体系，同时也包含消费端不同种类的能源需求。其中，综合的含义不仅意味着通过供能侧不同形式能源之间的互补协调来提升总体的能源效率，也意味着将能源设备与信息系统、调度中心相连接以实现相应的调度规划。同时，通过调度中心，能源系统得以与其它部门例如交通系统与经济系统相互协调，从而地提升各自的健壮性，保证总系统的安全性。

存储优化是提升能源系统效率的重要手段之一，它涉及到不同能源存储与释放的能效问题。传统的优化方法通常基于多目标优化或者线性规划，但一般只能应用于较小规模的能源系统中。随着整个能源网络规模的不断扩大，系统的复杂度也在急剧上升，传统的优化方法不再适用。具体来说，传统求解方法存在以下不足：

1.多目标优化的结果不唯一，无法确定不同目标之间的比重，可能无法得到符合要求的能源调度方法。

2.当能源系统网络的规模不断扩大，传统的线性规划模型将遇到维数灾难的问题。

3.传统的求解方法无法根据能源系统状态的变化动态调整生成的能源调度方法。

发明内容

鉴于以上内容，有必要提供一种基于最大熵离线式的能源存储与负载的优化方法，同时考虑了供能侧与用能侧，在满足能源系统各种存储能力约束的同时，能够根据不同的负荷需求状态动态地给出一个最优负载均衡方法，本发明提供的技术方案如下：

本发明提供了一种基于最大熵离线式的能源存储与负载的优化方法，用于对能源系统的能源调度方法进行优化，优化方法的主要目标是在能源剩余时加以存储避免浪费，在能源不足时利用其它形式存储的能源加以补充以满足用户要求，包括用电负荷、冷\热负荷以及天然气负荷等。方法中的约束包括系统的能源效率，调度时的能量损耗以及不同形式能源的装机容量等。利用拉格朗日方法将约束问题转化为等价的无约束问题，然后推导出响应的参数更新公式并将公式作为软行动者-评论家网络的目标函数对网络进行训练。

所述优化方法包括以下步骤：

S1、创建行动者神经网络和评论家神经网络，并初始化行动者网络参数和评论家网络参数；本发明采用软行动者-评论家方法，它是一种基于离线学习的最大熵强化学习方法，能够尽可能地学习到多样化的方法。标准的强化学习方法目标是最大化累计奖赏，而软行动者-评论家方法在奖励函数上加入了控制熵，且相对于一般的行动者-评论家方法，软行动者-评论家方法的采样效率更高，能够充分利用采集到的样本进行学习。

S2、通过行动者神经网络对能源系统的系统状态信息进行训练，得到能源调度方法，并通过能源系统运行该能源调度方法，得到运行反馈信息；

S3、通过评论家神经网络对所述运行反馈信息和能源调度方法进行训练，得到评估信息；