[发明专利]一种基于强化学习的风蓄生态发电日随机优化调度方法

说明书

本发明涉及一种基于强化学习的风蓄生态发电日随机优化调度方法，包括：预先构建目标函数，所述目标函数以风电‑抽蓄联合系统实际出力与计划出力偏差平方的期望值最小为目标；获取当前风电出力实际值和风电出力预测值；利用Q(λ)‑learning算法迭代求解目标函数，得到调度策略：将当前水库容量作为状态初始值，利用启发式贪婪策略在水库进出流量集中选取动作，利用资格迹函数提取动作资格，利用启发函数提取动作的启发信息；计算执行当前动作的奖励值并更新Q值，得到Q值表；根据Q值表确定调度策略。

技术领域

本发明涉及一种基于强化学习的风蓄生态发电日随机优化调度方法，属于风蓄优化调度领域。

背景技术

大力发展水电站调度体系，可满足各流域水文站建设，提升发电、航运等实用能力，提高水电站整体效益。其中，风电-抽水蓄能联合系统随机优化调度问题是一个高维、多阶段、非线性优化的问题，此问题约束较为复杂，综合考虑的因素较多。在解决此类随机优化调度问题时，常用的求解算法包括粒子群算法、随机动态规划算法等。然而随着系统规模的扩大，在求解的过程中这些算法可能会存在一定的局限性，例如粒子群算法在寻优过程中容易陷入局部最优解，计算过程中需要跳出局部最优，很难找到理论上的全局最优解；而随机动态规划算法虽然可以找到理论上的最优解，但是在求解过程中容易出现“维数灾”，导致求解时间过长，在实际中较难取得应用。

因此，需要一种求解速度更快的风蓄生态发电日随机优化调度方法。

发明内容

为了克服现有技术中存在的问题，本发明设计了一种基于强化学习的风蓄生态发电日随机优化调度方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于强化学习的风蓄生态发电日随机优化调度方法，其特征在于，包括以下步骤：

预先构建目标函数，所述目标函数以风电-抽蓄联合系统实际出力与计划出力偏差平方的期望值最小为目标；

获取当前风电出力实际值和风电出力预测值；

利用Q(λ)-learning算法迭代求解目标函数，得到调度策略：

将当前水库容量作为状态初始值，利用启发式贪婪策略在水库进出流量集中选取动作，利用资格迹函数提取动作资格，利用启发函数提取动作的启发信息；计算执行当前动作的奖励值并更新Q值，得到Q值表；根据Q值表确定调度策略。

进一步地，还包括：利用服从Beta分布的风电预测误差概率密度函数修正风电出力预测值。

进一步地，预先构建目标函数，具体为：在一个优化周期内，以风电-抽蓄联合系统实际出力与计划出力偏差平方的期望值最小为目标，构建目标函数并设置目标函数的约束条件。

进一步地，利用状态转移方程更新状态，状态转移方程为：

式中：V_t、V_t+1分别为t时段初、末上水库的库容；Q_c为t时段的抽水流量，m³/s；Q_fd为t时段的发电流量，m³/s；ΔT为t时段进行发电/抽水的时间。

进一步地，根据风电出力实际值与预测值的偏差值，计算奖励值。

进一步地，所述启发式贪婪策略以公式表达为：

式中：H_t(s_t,a_t)为启发函数，ξ为启发函数的权值，用于加权启发函数对于动作选择的影响，ξH_t(s_t,a_t)为选取动作的启发信息。