[发明专利]一种基于深度强化算法的水电站厂内实时优化调度方法

权利要求书

1.一种基于深度强化算法的水电站厂内实时优化调度方法，其特征在于，包括以下步骤：

(1)根据水电站厂内实时优化运行情况构建数学模型；

(2)根据步骤(1)构建的数学模型，将水电站厂内实时调度问题转换为马尔科夫决策过程；

(3)应用深度强化学习算法Deep Q-Learning对马尔科夫决策过程求解，得到水电站厂内实时滚动运行策略。

2.根据权利要求1所述一种基于深度强化算法的水电站厂内实时优化调度方法，其特征在于，所述步骤(1)具体包括：

根据水电机组优化运行准则，调整给定的水电机组日前发电计划，目标函数为：

式中，ΔQ为调度时段15min内所有运行水电机组的总耗水量偏差；N为所有水电机组数；ΔQ_i为水电机组i在15min调度时段内的耗水量偏差；水电机组的耗量特性函数Q_i＝f(P_i,H_i)：水电机组流量Q_i为水电机组i在调度时段内的平均出力P_i与平均水头H_i的非线性函数；具体表示如下：

Q_i＝f(P_i,H_i)

式中，f为水电机组的耗量特性函数；

当水电机组出力实时调整量为ΔP_i时，相应的调节耗水量ΔQ_i表示如下：

ΔQ_i＝f(ΔP_i,H_i)

结合实时运行的变量为水电机组出力和耗水量的偏差量制定功率偏差平衡约束、各机组出力约束、各机组流量约束和各机组运行时的振动区约束，具体表示如下：

功率偏差平衡约束具体表示为：

式中，ΔP_i为水电机组i出力实时调整量，ΔP_L为15min调度时段内的系统总负荷与日前出力计划的偏差；

机组出力约束具体表示为：

P_i,min≤P_i±ΔP_i≤P_i,max

式中，P_i,max、P_i,min分别为水电机组i的出力上、下限；

机组流量约束具体表示为：

Q_i,min≤Q_i±ΔQ_i≤Q_i,max

式中，Q_i,max、Q_i,min分别表示水电机组i发电流量的上、下限；

机组气蚀振动区约束具体表示为：

(P_i+ΔP_i-P_zi,max)(P_i+ΔP_i-P_zi,min)≥0

式中，P_zi,max、P_zi,min分别为水电机组i运行时的振动气蚀区上、下限。

3.根据权利要求2所述一种基于深度强化算法的水电站厂内实时优化调度方法，其特征在于，所述步骤(2)中马尔科夫决策过程结合强化学习和水电站实时优化调度问题的主要特征，针对强化学习算法中的智能体、状态集合S、动作集A、和奖励矩阵R进行定义，构建一个学习过程，所述智能体为水电站的调度员或者自动发电控制系统，从环境中学习选择行动，以最大化未来的回报；将区间[0,5％P_i,max]的负荷偏差量分成K份作为状态集合S，P_i,max表示最大出力；动作集A为水电站各机组离散的出力偏差量集合{ΔP_i}；根据水电机组的相关参数及状态集合S和动作集合A，确定奖励矩阵中的元素值r_t(s_t,s_t+1,a_t)，即当前时段的状态s_t采取任一动作a_t更新到下一时段的状态s_t+1所获得的奖励值。