[发明专利]一种基于混合学习的分布式能源优化调度方法及装置

说明书

本发明公开一种基于混合学习的分布式能源优化调度方法及装置，属于分布式能源调度领域。本发明采用XGBoost及MADDPG算法，同时考虑多个微电网之间的能量共享以及微电网内部光伏产消者之间基于电能需求响应的能量共享，通过云端离线集中式训练以及边端在线分布式决策，实时获取含光伏产消者的微电网群系统的优化运行策略。

技术领域

本发明涉及分布式能源调度领域，特别是涉及一种基于混合学习的分布式能源优化调度方法及装置。

背景技术

微电网由于能够容纳高比例的分布式能源，已被认为是智能电网的基础组成部分。多个微电网系统互联形成的微电网群系统通过对分布式能源协同优化调度，可以实现更广泛的能效提升。然而，由于可再生能源的随机性、系统非线性网络约束，以及微电网群运营商、微电网运营商和微电网内部光伏产消者等多层利益主体的参与，微电网群系统的实时优化运行面临着严峻的挑战。

针对微电网群系统的协同优化调度，目前的研究一般可以分为集中式和分布式两类。集中式结构通常需要一个集中的控制器来管理全局优化过程，并与所有的代理进行通信，这导致了可扩展性和可靠性受到计算瓶颈、通信负担和单点故障的限制。为了解决集中式方法的挑战，已有研究提出了微电网群能量管理的分层分布式结构。如双边合同、纳什谈判、拍卖模型和多代理联盟博弈等方法被设计用来组织多个微电网之间的协同优化运行问题。但上述工作都是传统的模型驱动方法，存在求解效率低、难以精细建模、难以处理不确定因素等问题，难以满足微电网群实时在线优化调度的需求。

为了避免基于模型的优化方法的缺点，数据驱动和基于学习的优化方法受到了极大的关注。深度强化学习融合了深度学习和强化学习的优点，由于其无模型特性、较强的表示能力和决策能力，在智能电网中得到了广泛的应用。但在现有的研究中，关于单个微电网或多个互联微电网的优化调度工作大多使用单主体深度强化学习算法，在具有竞争或合作关系的多主体环境中不能很好地适用。在微电网群系统中，各个微电网智能体本身作为环境的一部分，其行为也会影响其他微电网智能体的学习，导致单主体的训练环境不稳定。

多智能体深度强化学习方法通过不同智能体之间的经验共享，更适合于多智能体环境，少数研究将多智能体深度强化学习方法用于微电网群的协同优化调度问题中，然而已有研究在实现多个微电网之间的能量共享时，均忽略了微电网内部光伏产消者之间的能量共享，无法解决含光伏等产消者的微电网群双层分布式能量共享优化调控问题。

发明内容

本发明的目的是提供一种基于混合学习的分布式能源优化调度方法及装置，以解决含光伏等产消者的微电网群双层分布式能量共享优化调控问题。

为实现上述目的，本发明提供了如下方案：

一种基于混合学习的分布式能源优化调度方法，所述方法应用于分布式能源系统，所述分布式能源系统包括多个微电网，每个所述微电网内设置有边缘节点、多个终端用户和多个分布式电源，每个所述终端用户对应一个光伏产消者，所述方法包括：

根据分布式能源系统中所有微电网的联合状态，采用每个所述微电网的决策函数，确定每个所述微电网内的每个所述光伏产消者的最优动作；所述联合状态包括每个所述微电网的本地观测状态，所述本地观测状态至少包含微电网内部所有光伏产消者进行能量共享后的总净负荷值，所述决策函数基于嵌入有训练后的XGBoost模型的多智能体深度确定性策略梯度算法训练获得；

调整每个所述微电网内的每个光伏产消者的最优动作，使每个所述微电网内的每个光伏产消者的最优动作均满足设备运行约束，获得每个所述微电网内的每个光伏产消者的一次调整后的最优动作；

调整每个所述微电网内的每个光伏产消者的一次调整后的最优动作，使每个所述微电网内的每个光伏产消者的一次调整后的最优动作均满足网络运行约束，获得每个所述微电网内的每个光伏产消者的二次调整后的最优动作；

基于每个所述微电网内的每个光伏产消者的二次调整后的最优动作，对分布式能源系统进行优化调度。