[发明专利]基于深度强化学习的风火互补系统智能紧平衡处置方法

说明书

本发明公开了一种基于深度强化学习的风火互补系统智能紧平衡处置方法，步骤如下：建立考虑风电提供柔性爬坡容量的风火互补系统紧平衡处置的目标函数及约束条件；根据所建立的目标函数和约束条件，将风火互补系统紧平衡处置问题转换为马尔可夫决策过程；搭建基于深度确定性策略梯度算法的风火互补系统紧平衡处置模型；采用历史风电出力和负荷数据训练风火互补系统紧平衡处置模型，将训练好的模型运用于实际的风火互补系统智能紧平衡处置策略的制定。本发明提出的方法有效降低了风火互补系统紧平衡处置成本，增加了系统的灵活性，且本发明提出的方法决策时间短，可应用于风火互补系统实时紧平衡处置决策。

技术领域

本发明涉及风火互补系统，特别是一种基于深度强化学习的风火互补系统智能紧平衡处置方法。

背景技术

风能作为一种具有储量大、成本低、绿色环保的可再生能源，风能的开发利用既有利于保障全球能源供给，又可减少温室气体的排放，对促进全球能源结构转型具有重要的推动作用。近年来，风电新增装机规模迅速扩大，风电渗透率不断提高。

风电渗透率的不断提高虽然可以降低系统的运行成本，但也给维持系统功率平衡带来了挑战。同时，随着负荷需求的不断增长以及负荷侧电动汽车、储能、分布式发电装置的快速发展，也增加了负荷侧的不确定性。这种源荷不确定性的增加给电网的安全稳定运行带了极大的挑战。在负荷和风电出力具有较大的波动时，系统的功率平衡难以保持，亟需通过增加常规机组的备用容量、快速启动机组等方法来维持系统功率平衡，但这些方式会增加机组运营成本，降低系统运行经济性。柔性爬坡容量的供给可以为风火互补系统提供柔性紧平衡处置容量，通过预留一定的灵活调节空间来应对预测误差，增加系统的灵活性，稳定系统输出功率。

目前柔性爬坡容量主要依靠常规机组提供，随着柔性爬坡容量需求的增长，不断增加系统的运行成本。短期的风电功率可以精准预测，可提供一定的柔性爬坡容量。现有研究缺乏考虑风电提供柔性爬坡容量来帮助风火互补系统处置紧平衡，降低处置成本。其次，目前风火互补系统研究中，广泛使用的算法有线性规划、进化算法、群体算法、混合算法等。这些优化算法具有计算复杂、易陷入局部最优、无法根据输入数据实时更新最优方案等缺陷，难以快速获得风火互补系统紧平衡处置方案。

发明内容

发明目的：本发明的目的是提供一种基于深度强化学习的风火互补系统智能紧平衡处置方法，从而考虑风电提供柔性爬坡容量以帮助风火互补系统处置紧平衡，降低紧平衡处置成本，并通过DDPG算法实现风火互补系统智能紧平衡处置，降低紧平衡处置时间。

技术方案：本发明所述的一种基于深度强化学习的风火互补系统智能紧平衡处置方法，包括以下步骤：

(1)建立考虑风电提供柔性爬坡容量的风火互补系统紧平衡处置的目标函数及约束条件；

(2)根据步骤(1)建立的目标函数和约束条件，将风火互补系统紧平衡处置问题转换为马尔可夫决策过程；

(3)搭建基于深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法的风火互补系统紧平衡处置模型；

(4)将采集到的历史风电出力和负荷数据送入风火互补系统紧平衡处置模型训练，将训练好的模型运用于实际的风火互补系统智能紧平衡处置策略的制定。

步骤(1)中，所述的目标函数为：