[发明专利]基于无模型强化学习的综合能源能量优化方法及装置

说明书

本申请公开了基于无模型强化学习的综合能源能量优化方法及装置，方法包括：根据预置综合能源服务商模型获取供能指导信号样本；将供能指导信号样本输入预置神经网络中，并根据预置损失函数进行网络训练，获取园区综合能源系统与配网的能量交换量，预置损失函数包括范数惩罚项；通过蒙特卡洛算法根据能量交换量进行奖励性模拟计算，获取最优供能指导信号；将最优供能指导信号代入预置能量优化模型中，求得最优调度方案，预置能量优化模型包括预置能量调度函数和预置约束条件。本申请解决了基于模型的综合能源系统能量优化技术适用性和效率均较低的技术问题。

技术领域

本申请涉及能源系统技术领域，尤其涉及基于无模型强化学习的综合能源能量优化方法及装置。

背景技术

为积极推动能源结构调整，妥善应对石化能源短缺和扎实推进环保工作，近年来我国开始实施以电代煤、以气代煤的能源发展战略，使得能源间的联系日趋紧密，打破了各能源分开规划、独立运行的既有模式，逐步形成了配电和配气等多系统协调运行、多元能源互补互济的园区综合能源系统。

近年来，新兴的需求侧能源在保障园区综合能源系统的经济性和安全性方面发挥着越来越重要的作用。园区综合能源系统的安全稳定运行是提高供能可靠性的重要保证。由于系统中负荷终端能源消费形式多样，冷热电负荷需求特性各异、变化频繁、峰谷差大，导致系统电压与气压在长时间尺度下存在较大波动且分布极不平衡，干扰设备正常运行，降低了供能质量和稳定性，增加了系统线路潮流波动和微型燃气轮机脱网的风险，对园区综合能源系统的安全运行提出了挑战。现有的园区综合能源系统能量优化方法主要是基于模型，并建立数学方程描述能源的调度，但是该方法无法保证算法的收敛性，且迭代运算对时间和资源的消耗较大。

发明内容

本申请提供了基于无模型强化学习的综合能源能量优化方法及装置，用于解决基于模型的综合能源系统能量优化技术适用性和效率均较低的技术问题。

有鉴于此，本申请第一方面提供了一种基于无模型强化学习的综合能源能量优化方法，包括：

根据预置综合能源服务商模型获取供能指导信号样本；

将所述供能指导信号样本输入预置神经网络中，并根据预置损失函数进行网络训练，获取园区综合能源系统与配网的能量交换量，所述预置损失函数包括范数惩罚项；

通过蒙特卡洛算法根据所述能量交换量进行奖励性模拟计算，获取最优供能指导信号；

将所述最优供能指导信号代入预置能量优化模型中，求得最优调度方案，所述预置能量优化模型包括预置能量调度函数和预置约束条件。

优选地，所述预置综合能源服务商模型为：

其中，α为权重因子，λ(t)为供能指导信号，和分别为园区综合能源系统第t时间段与配网的能量交换量、在N_T时间内最大能量交换量和平均能量交换量，ε_m为换算因子，profit_base为配网综合能源服务商收益，N_T和N_m分别为总时间和园区综合能源子系统数量，和分别满足如下约束关系：

优选地，所述将所述供能指导信号样本输入预置神经网络中，并根据预置损失函数进行网络训练，获取园区综合能源系统与配网的能量交换量，之前还包括：

将售价样本根据预置基准值转化为标幺值，得到供能指导信号；

将所述供能指导信号进行归一化处理，得到所述供能指导信号样本。

优选地，所述将所述供能指导信号样本输入预置神经网络中，并根据预置损失函数进行网络训练，获取园区综合能源系统与配网的能量交换量，包括：