[发明专利]一种基于深度强化算法的水电站厂内实时优化调度方法

说明书

本发明公开了一种基于深度强化算法的水电站厂内实时优化调度方法，用于求解水电站厂内实时优化调度。水电站厂内实时优化调度是调整日前发电计划的重要环节，是电力系统经济运行问题中的一个重要问题。本发明针对电网负荷预测与日前发电计划偏差量的最优调整展开研究，首先将水电站厂内实时调度问题转换为马尔科夫决策过程，然后应用Deep Q‑Learning深度强化学习算法对其求解，最后，得到水电站厂内实时滚动运行策略，运用于实际的水电站厂内实时调度策略的制定。本发明基于数据驱动的思路，能有效解决水电站厂内实时优化调度问题，且在应对突发情况时也有很好的鲁棒性。

技术领域

本发明属于电力调度领域，具体涉及一种基于深度强化学习算法的水电站厂内实时优化调度方法。

背景技术

现有研究大多侧重于实时优化调度和出力优化配置的建模，较少考虑预测不准确造成的水电机组负荷分配偏差的调整问题。但由于实际生产运行中实时负荷与计划负荷在调度日内会不可避免的存在偏差，影响电网的安全稳定运行。因此，研究电网负荷调节的实时响应是不可避免的，也是非常重要的。事实上从长期来看，水电站实时调度也具有一定的重复性，所积累的历史决策方案对于水电机组实时偏差量决策也具有指导意义。而随着人工智能技术的发展，基于数据驱动的深度强化学习算法可以使智能体通过与环境进行交互，快速且准确地对负荷偏差量做出反应，在求解水电站厂内实时优化调度问题时比常规算法更具优势。

发明内容

为了解决上述背景技术提到的技术问题，本发明提出了一种基于深度强化学习算法的水电站厂内实时调度决策方法，用于解决水电站厂内实时优化运行问题。

为了实现上述技术目的，本发明的技术方案为：

一种基于深度强化算法的水电站厂内实时优化调度方法，包括以下步骤：

(1)根据水电站厂内实时优化运行情况构建数学模型；

(2)根据步骤(1)构建的数学模型，将水电站厂内实时调度问题转换为马尔科夫决策过程；

(3)应用深度强化学习算法Deep Q-Learning对马尔科夫决策过程求解，

得到水电站厂内实时滚动运行策略。

优选地，所述步骤(1)具体包括：

根据水电机组优化运行准则，调整给定的水电机组日前发电计划，目标函

数为：

式中，ΔQ为调度时段15min内所有运行水电机组的总耗水量偏差；N为所有水电机组数；ΔQ_i为水电机组i在15min调度时段内的耗水量偏差；水电机组的耗量特性函数Q_i＝f(P_i,H_i)：水电机组流量Q_i为水电机组i在调度时段内的平均出力P_i与平均水头H_i的非线性函数；具体表示如下：

Q_i＝f(P_i,H_i)

式中，f为水电机组的耗量特性函数；

当水电机组出力实时调整量为ΔP_i时，相应的调节耗水量ΔQ_i表示如下：

ΔQ_i＝f(ΔP_i,H_i)

结合实时运行的变量为水电机组出力和耗水量的偏差量制定功率偏差平衡约束、各机组出力约束、各机组流量约束和各机组运行时的振动区约束，具体表示如下：

功率偏差平衡约束具体表示为：