[发明专利]一种基于深度Q网络的发电商竞价行为模拟方法及系统

权利要求书

1.一种基于深度Q网络的发电商竞价行为模拟方法，其特征在于，包括：

构建状态空间S、动作空间A以及奖励函数；其中，所述状态空间S选取时刻节点电价、时刻最高中标段以及所连线路时刻阻塞情况作为状态特征；所述动作空间A是基于边际成本曲线进行构建；所述奖励函数根据发电利润获得；

设置代理模型参数，并对所述代理模型进行初始化处理；其中，所述参数包括：动作空间参数A_min、A_max、H；状态空间维数；探索概率ε；当前值网络和目标值网络的结构层数，各层神经元个数及激活函数，优化器参数；回放记忆单元容量；最大学习次数及当前值网络和目标值网络同步频率t_step；

所述代理模型进行申报竞价，市场运营机构根据所述申报竞价进行市场出清计算；

所述代理模型训练同步值网络，直到满足结束条件；其中，所述结束条件包括：达到最大学习次数或市场已达到均衡状态。

2.根据权利要求1所述的基于深度Q网络的发电商竞价行为模拟方法，其特征在于，所述边际成本计算公式如下：

C_M(P)＝a+2bP

式中，a、b分别为成本函数的一次项和二次项系数；P为机组出力；

每一个动作都是将边际成本乘上一个系数，A∈[A_min,A_max]分为递增的H等份，A_min和A_max分别为最小和最大的可选系数。若代理模型选择了第i个动作，其对应的系数为：

A_i＝A_min+i/H*(A_max-A_min)

则其报价为：

C_B＝C_MA_i。

3.根据权利要求1所述的基于深度Q网络的发电商竞价行为模拟方法，其特征在于，所述对所述代理模型进行初始化处理，具体为：具体为：根据所述状态空间中选取的状态特征，初始化市场环境状态序列为s₁，并采取max－min归一化预处理后得到φ₁＝φ(s₁)；初始化当前值网络权重参数θ，并令目标值网络权重参数θ^-＝θ。

4.根据权利要求1所述的基于深度Q网络的发电商竞价行为模拟方法，其特征在于，所述代理模型进行申报竞价，市场运营机构根据所述申报竞价进行市场出清计算，具体为：选取ε-greedy探索方式，即以概率ε随机选择动作a_t，否则选择动作a_t＝argmax_aQ(φ_t,a|θ)；动作a_t确定后，根据公式C_B＝C_MA_i计算得到对应的报价策略，并申报给市场运营商机构；所述市场运营机构基于市场的报价信息、市场负荷、电网拓扑结构和市场规则，以单侧报价时发电成本最小化或双侧报价时社会福利最大化作为出清目标，计算最优潮流，并给出相关的市场出清信息。