[发明专利]风电-制氢系统在市场机制下收益最大化的运行方法

权利要求书

1.风电-制氢系统在市场机制下收益最大化的运行方法，系统由风电场、电力市场、电解槽、储气罐以及氢气市场组成，其特点在于，使得该系统收益最大化的方法包括以下步骤：

S1，构造风电-制氢系统出力数学模型；

1)构造风电系统在不同风速下的等效出力数学模型如下，

其中，t表示当前时刻，p_WT,t为风电场等效出力，v_WT,t为t时刻的风速，v_ci为风电场最小允许投入风速，p_e为风电场额定出力，v_e为额定运行风速，v_co为风电场最大允许运行风速；

2)构造制氢系统的数学模型，

其中，p_WT2HG,t表示t时刻电解制氢消耗的风电，β_t表示t时刻风电-制氢转换率，N_EL,t表示t时刻电解槽产生的氢气，η^c为压缩系数，ΔT为时间常数，U_EL为电解槽工作电压，F_c为法拉第常量；

3)构造储氢系统的数学模型；

其中，V_HST,t与V_HST,t-1分别表示t时刻与t-1时刻储氢罐中的氢气量，T_HST为储氢罐的温度，R为气体常量，P_HST为储氢罐的压强，V_HST2HM,t表示t时刻从储氢罐中卖向氢气市场的氢气量，SoH_t表示t时刻储氢罐中剩余氢气量，V_HST,max表示储氢罐最大可用容量；

S2，构造市场机制下的风电-制氢系统实时优化目标函数及约束条件；

1)构造实时优化目标函数，优化目标函数为风电和氢气分别从电力市场和氢气市场获取收益的数学模型，

其中，p_WT2EM,t表示卖向电力市场的风电量，λ_WT,t表示t时刻的电价，λ_HG,t表示t时刻的氢气价格，f_t为t时刻的收益，T表示优化运行周期；

2)构造收益实时优化的约束条件；

其中，p_WT2HG,min表示电解槽最小启动功率，p_WT2HG,max表示电解槽最大运行功率，SoH_min表示储氢罐中最小允许剩余氢气百分比，SoH_max表示储氢罐中最大允许存储氢气百分比；

S3，搭建并训练基于深度确定性梯度策略算法(Deep Deterministic PolicyGradient,DDPG)的风电-制氢系统实时优化数学模型，并通过该数学模型获取实时优化运行策略；

S4，在实时优化运行策略中输入实时采集的风速和价格数据，即可实现考虑市场机制的风电-制氢系统实时优化运行。

2.根据权利要求1所述风电-制氢系统在市场机制下收益最大化的运行方法，其特点在于，所述深度确定性梯度策略算法的运行原理步骤包括：

1)采集风电场历史风速数据，记为ν_WT,t；其中t＝1,2,3……t表示时刻；采集风电场历史上并网电价数据，记为λ_WT,t；获取氢气的历史售价数据，记为λ_HG,t；

2)将一个运行周期内的风电-制氢系统的优化目标及约束条件转化为含状态集合S、动作集合A和奖励函数r的无约束马尔可夫决策过程；S包含决策过程所有状态，时刻t的状态s_t＝{ν_WT,t，λ_WT,t，λ_HG,t，SoH_t}；A包含决策过程所有动作，时刻t的动作a_t＝{β_t,V_HST2HM,t}；r指在s_t下执行a_t获得的即时回报rt(a_t∣s_t)；

3)将市场机制下的风电-制氢系统含约束优化问题转化为无约束问题，并对t时刻风电-制氢转换率β_t和V_HST2HM,t的约束均体现在对动作值的限幅，转化储氢罐剩余氢气百分比和电解槽最大允许运行功率约束；

r_t(a_t|s_t)＝f_t-φ_t^SoH-φ_t^WT2HG；

其中，ρ₁、ρ₂、ρ₃和ρ₄表示惩罚系数；φ_t^SoH为储氢罐剩余氢气百分比约束罚函数；φ_t^WT2HG表示电解槽最大允许运行功率约束罚函数；

4)构造DDPG算法所需两组结构相同的四个全连接层神经网络：在线、估计动作网络，参数集合分别θ^μ、θ^μ'，用于实现输入状态s_t到输出动作a_t的映射即策略π；在线、估计评价网络，参数集合分别为θ^v、θ^v'，用于实现状态s_t和动作a_t到动作价值函数Q^π(s_t，a_t)的映射；

5)设置基于深度确定性梯度策略算法的市场机制下的风电-制氢系统实时优化模型的学习率a，设置记忆库容量M和总迭代次数N，初始化神经网络参数集合θ；

6)复位市场机制下的风电-制氢系统获取状态s，并开始实施一个马尔可夫决策过程；

7)根据当前状态s和在线动作网络参数θ^μ输出动作a；

8)根据动作a计算目标函数值以获得奖励r和获取当前作用动作引起的下一时刻状态s_{_}；

9)将元组信息{s,a,r,s_{_}}存入记忆库以打破风速和价格数据的时间相关性；

10)判断记忆库是否存满，若存满，则执行步骤11)，反之，则执行步骤14)；

11)通过梯度下降策略更新在线动作网络的参数集合θ^μ；

其中，b表示从记忆库中有放回条件下等概率的采样元组信息的批次，表示在状态s_i和动作a_i下动作价值函数的梯度，表示在状态s_i下θ^μ动作更新值改变方向的梯度；

12)通过最小化损失函数更新在线评价网络的参数集合θ^v；

其中，L为损失函数值；表示在状态s_i和动作a_i下在线评价网络输出的动作价值函数值；y_i表示目标评价网络估计值；γ∈[0,1]表示折扣因子以表征环境的不确定性；

13)使用软更新技术更新目标动作、评价网络参数；

其中，τ为软更新系数，0＜τ＜＜1；

14)更新当前状态，赋值s＝s_{_}；

15)判断当前马尔可夫决策过程是否结束，若结束，则执行步骤16)，反之，则执行步骤7)；

16)迭代次数加一，并判断当前迭代次数是否达到最大迭代次数N，如果满足，则迭代停止并输出神经网络参数集合θ，反之，则执行步骤6)。