[发明专利]一种基于强化学习的现货市场售电商报价方法

说明书

本发明公开了一种基于强化学习的现货市场售电商报价方法，包括：设定现货市场交易规则，采用购售电双方双边集中竞价方式进行市场交易，通过分时段阶梯报价方式，并采用统一边际出清方式出清结算；建立售电商收益模型，给出不同类型售电商报价策略的目标模型，并对模型进行假设条件和初值设定；引入强化学习算法，并根据强化学习算法对模型中所有售电商的状态空间、动作空间、奖赏函数进行定义，建立基于强化学习的现货市场售电商报价模型；采用ε‑贪心算法进行求解，得到结果。本发明能够有效模拟电力现货市场下售电商的竞价行为，并得到一系列最优的报价策略，使售电商采取恰当的报价行为，获得更大的利润空间。

技术领域

本发明涉及电力市场技术领域，尤其涉及一种基于强化学习的现货市场售电商报价 方法。

背景技术

在发电侧、售电侧共同放开的电力市场下，售电商既可能作为售电方参与电力市场 售电交易，也可能作为购电方参与市场竞价购电，售电商面临的竞争关系越来越复杂、风险越来越大。现阶段我国积极开展电力现货市场试点的建设，在现货市场交易环境下，售电商主要面临着市场竞价购电的风险。售电商会通过报价行为参与现货市场交易，而 售电商的报价行为需根据市场环境和自身利益需求选择最优的报价策略来实现。为了促 进现货市场持续完善发展，实现售电侧改革的有序推进，让售电商在市场交易中能够获 得更大的利润空间，因而有必要研究售电商在现货市场中如何进行报价决策的问题。

由于电能具有无法大规模储存的特性，电力的生产与消费必须是瞬间完成的，这使 得现货市场在整个电力市场体系中占据了至关重要的地位。在信息不对称和不完全公开 的电力现货市场中，无论市场环境如何变化，共同参与市场竞价的买卖双方均希望自己能够在竞争中获得更大的收益。对于售电商而言，其采取策略性报价行为进行市场竞价 比不采取策略性报价行为会获得更多的利润空间。这是因为售电商作为电力用户的代表 参与市场竞价购电，如果采取的报价行为不当，则会出现购电价格过高或购电量不足的 情况，而无论发生哪种情况，都将会影响售电商的利润空间。从电力市场监管机构的层 面来说，研究售电商报价策略将有助于考察售电商的市场行为，发现市场规则和市场结 构中存在的漏洞，进而不断完善现有的电力市场政策法规。

为了应对这样的挑战，在电力现货市场中，研究售电商报价策略的意义是显而易见 的。鉴于实际现货市场环境的不确定性，分析影响售电商报价策略的因素并研究如何去选择最优的报价策略就显得十分必要。

发明内容

技术目的：针对现有技术中的缺陷，本发明采取了基于Q学习的售电商报价模型，利用该模型能够有效模拟电力现货市场下售电商的竞价行为，并得到一系列最优的报价策略，使售电商采取恰当的报价行为，获得更大的利润空间。

技术方案：为实现上述技术目的，本发明采用以下技术方案。

一种基于强化学习的现货市场售电商报价方法，包括以下步骤：

S1、设定现货市场交易规则：采用购售电双方双边集中竞价方式进行市场交易，通过分时段阶梯报价方式，并采用统一边际出清方式出清结算；

S2、建立售电商收益模型，给出不同类型售电商报价策略的目标模型，并对模型进行假设条件和初值设定；

S3、根据步骤S2建立的不同售电商的收益模型及目标模型，引入强化学习算法，并根据强化学习算法对模型中所有售电商的状态空间、动作空间、奖赏函数进行定义， 建立基于强化学习的现货市场售电商报价模型；

S4、对步骤S3中建立的基于强化学习的现货市场售电商报价模型采用ε-贪心算法进行求解，结合市场出清电价和各售电商下一小时负荷水平，得到各售电商利润和出清 电量。

优选地，所述步骤S2中售电商收益模型包括：