[发明专利]基于双Q值网络深度强化学习的微电网能量调度方法

说明书

本发明公开了一种基于双Q值网络深度强化学习的微电网能量调度方法，将微电网的一天预测信息当作生成最优控制策略的训练集，训练一个独立于微电网环境、以储能系统作为控制对象的智能体，通过对储能系统的充放电动作进行控制来实现微电网的运行花费最小和对公共电网功率波动最小的双重优化目标。该方法因其不依赖于具体微电网模型的构建，并且由奖励函数的设计来引导策略实现微电网运行的目标，可以获得全局时间的最优策略，能够有效解决新能源发电和用户负荷分布的不确定性导致的功率不平衡。

技术领域

本发明涉及电力工程技术领域，具体涉及微电网运行控制与能量调度领域。

背景技术

日益受到关注的环境问题和灵活的交易机制给电力系统的设计和运行带来了新的挑战。发展可再生能源作为解决能源危机的主要手段，催生了由分布式能源、储能和负荷构成的微电网。然而，由于光伏或风力发电等可在生能源天然的间歇性和随机性，难以对其直接安排生产计划，这对电网的平衡产生不利影响。意外的功率变化导致的功率不平衡需要承担昂贵的后备设备或服务的花费，从而会显着降低微电网的经济性。解决此问题的有效措施之一是使用传统的基于模型的控制方法对不同种类的储能装置进行调度，这需要对微电网进行精确建模并通过设计预测器和求解器获得最优策略。

发明内容

本发明所要解决的技术问题就是提供一种基于双Q值网络深度强化学习的微电网能量调度方法，采用最优策略对不同种类的储能装置进行调度，解决意外的功率变化导致的功率不平衡问题，保证微电网的经济性。

为解决上述技术问题，本发明采用如下技术方案：

基于双Q值网络深度强化学习的微电网能量调度方法，包括如下步骤：

步骤(1)：依据所控新能源微电网建立与之对应的仿真模型，在日前调度阶段，获得未来一天各时段的各种可再生能源的出力、与微电网连接的主电网的实时电价以及负荷需求，并将其作为智能体的训练数据；

步骤(2)：定义强化学习算法框架下与微电网仿真模型相对应训练环境，包括如下子步骤：

(2.1)定义环境状态空间：包括从当前调度时刻到k时刻前的微电网外在状态信息构成状态空间的外在部分、储能系统的荷电状态构成状态空间的可控部分、每次调度的时间信息h(t)构成状态空间的时间部分S_T；

(2.2)定义智能体动作空间：每次调度智能体对储能系统的充放电行为进行控制：

(2.3)定义奖励函数：用来引导智能体实现预定微电网优化目标，；

(2.4)设置储能系统后备控制器：以保证智能体产生的动作不会超出储能系统的荷电状态上下限值；

(2.5)执行实际控制指令：储能系统根据实际控制指令充放电；

(2.6)与主电网交互：微电网通过公共节点与主电网连接，依靠主电网达到最终的功率平衡，若新能源发电和储能系统不能满足本地负荷需求，则从主电网以实时电价购电；若储能系统以最大功率存储新能源发电的多余电量后仍有剩余电量，则将其回馈给主电网；

步骤(3)：采用双Q网络深度强化学习：对步骤(2)定义的强化学习训练环境进行多次训练，将一次训练作为一幕，在一天时间上反复进行多幕训练直至总奖励值收敛；

步骤(4)：将步骤(3)训练好的智能体应用于一天的实时调度，在每个调度时段，将此时微电网的状态信息输入评估神经网络并选取使Q值最大的动作为输出动作，经后备控制器转换为实际指令用于储能系统的控制。

优选的，微电网的分布式可再生能源出力由风力发电和光伏发电组成，用户连接于微电网并配备了储能系统，微电网通过公共节点与主电网连接，并实时获得主电网的电价。

优选的，所述步骤(1)包括如下步骤：