[发明专利]一种电力现货日前市场辅助报价方法

权利要求书

1.一种电力现货日前市场辅助报价方法，其特征在于，包括步骤：

步骤S1.将各发电商的报价行为作为动作a；将各发电商的中标情况作为状态s；将发电商报价后可获得的收益作为回报r；将市场出清结果作为交互过程中的环境；将发电商在中标后可以采取的报价动作作为策略π；

步骤S2.初始化下列参数：状态-行为值函数Q_i(s,a_i)＝0；策略π_i(s,a_i)＝1/|A_i|；平均策略其中，i为发电商编号；A为所有动作a的集合；

步骤S3.各发电商根据状态s利用探索-利用策略得出报价动作a_i并提交给市场；

步骤S4.所有发电商均完成动作提交后，市场进行出清，并将各发电商的收益r_i和下一状态的中标状态s’反馈给各发电商；

步骤S5.更新所有发电商的值函数Q_i(s,a_i)；

步骤S6.根据更新后的值函数Q_i(s,a_i)，对每一个a_i∈A_i，更新平均估计策略π_i(s,a_i)和策略π_i(s,a_i)；

步骤S7.重复步骤S3-S6以完成辅助报价模型的训练。

2.如权利要求1所述的电力现货日前市场辅助报价方法，其特征在于，步骤S4中各发电商的收益r_i的计算方法为：

r_i＝p_iP_i-F_coal；

F_coal＝a₂p_i²+a₁p_i+a₀；

其中，p_i为发电商的中标电量，P_i为中标电价，a₂，a₁和a₀为独立的成本系数。

3.如权利要求1所述的电力现货日前市场辅助报价方法，其特征在于，步骤S5中更新所有发电商的值函数Q_i(s,a_i)的方法为：

分别构建当前值网络和目标值网络，每个网络均包含两层拥有256个神经单元的隐藏层，两个的网络的输入为当前状态下的所有动作向量，输出为当前状态下各动作对应的价值函数向量；

将当前值网络参数θ和目标值网络参数θ^-均初始化为x(x∈(0,0.5))；

设定用于存储根据所述步骤S4结果得到的(s,a_i,r_i,s’)的经验回放集合，并初始化其大小为2000；(s,a_i,r_i,s’)表示在状态s下采取动作a_i能够达到状态s’并获得奖励r_i；

从所述经验回放集合中随机采样(s_t,a_t,r_t+1,s_t+1)来计算当前值网络的损失函数值。

4.如权利要求3所述的电力现货日前市场辅助报价方法，其特征在于，还包括步骤：

所述当前值网络的损失函数值的计算方法为：

其中，为目标值网络输出的S_t+1状态下的动作价值函数，Q(S_t,a；θ)为当前值网络输出的S_t状态下的动作价值函数；

采用梯度下降法更新当前值网络参数θ，并每隔C轮将θ的值赋给目标值网络参数其中，(C∈(10,100)。

5.如权利要求1所述的电力现货日前市场辅助报价方法，其特征在于，步骤S6中所述平均估计策略的更新方法为：

C(s)＝C(s)+1，

其中，C(s)为状态s出现的次数，其初始值为0。

6.如权利要求1所述的电力现货日前市场辅助报价方法，其特征在于，步骤S6中策略π_i(s,a_i)的更新方法为：

π_i(s，a_i)←π_i(s，a_i)+Δ_sa

其中

，其中

其中，δ_l,δ_w均为可变学习速率，δ_l,δ_w∈(0,1)，且δ_lδ_w。