[发明专利]一种基于强化学习的现货市场售电商报价方法

权利要求书

1.一种基于强化学习的现货市场售电商报价方法，其特征在于，包括以下步骤：

S1、设定现货市场交易规则：采用购售电双方双边集中竞价方式进行市场交易，通过分时段阶梯报价方式，并采用统一边际出清方式出清结算；

S2、建立售电商收益模型，给出不同类型售电商报价策略的目标模型，并对模型进行假设条件和初值设定；

S3、根据步骤S2建立的不同售电商的收益模型及目标模型，引入强化学习算法，并根据强化学习算法对模型中所有售电商的状态空间、动作空间、奖赏函数进行定义，建立基于强化学习的现货市场售电商报价模型；

S4、对步骤S3中建立的基于强化学习的现货市场售电商报价模型采用ε-贪心算法进行求解，结合市场出清电价和各售电商下一小时负荷水平，得到各售电商利润和出清电量。

2.根据权利要求1所述的一种基于强化学习的现货市场售电商报价方法，其特征在于：所述步骤S2中售电商收益模型包括：

R＝Q_BiddingP-Q_BiddingP_Ahead-Q_C(P_C-P_Ahead)

其中，R表示售电商的利润；Q_Bidding表示日前市场售电商的中标电量；P表示售电商单位售电价格；P_Ahead表示日前市场的出清电价；Q_C表示售电商的中长期差价合约锁定电量；P_C表示售电商的中长期差价合约电价。

3.根据权利要求1所述的一种基于强化学习的现货市场售电商报价方法，其特征在于：所述步骤S2中不同类型售电商报价策略的目标模型包括：

中间商分成型的售电商目标模型为：

G₁＝max{η[Q_SP_S-Q_SP_clear-Q_C(P_C-P_clear)]}

其中，P_S为售电商与用户签订的售电合同价格，Q_S为成交的电量，Q_C为中长期差价合约锁定的电量，P_C为中长期差价合约电价，P_clear为市场出清电价，η为售电商与电力用户的分成比例；

扩张型售电商的售电商目标模型为：

G₂＝maxQ_Buy

其中，Q_Buy为售电商日前市场的竞价电量。

4.根据权利要求1所述的一种基于强化学习的现货市场售电商报价方法，其特征在于：所述步骤S3中强化学习算法的Q值的更新规则为：

其中，s为状态，t为动作，β为控制学习速度的动态学习率；表示智能体对实际Q函数的估计，γ表示奖赏折扣系数，表示期望最优策略的Q值；即智能体采用新状态s′当前的值来精化其对前一状态s的估计值

5.根据权利要求4所述的一种基于强化学习的现货市场售电商报价方法，其特征在于：所述动态学习率β的更新规则为：

其中，T_n(s，a)为状态-动作对在这n次循环内被访问的总次数。