[发明专利]一种电力现货日前市场辅助报价方法

说明书

本发明提供了一种电力现货日前市场辅助报价方法，包括：初始化下列参数：状态‑行为值函数Q_i(s,a_i)＝0；策略π_i(s,a_i)＝1/|A_i|；平均策略其中，i为发电商编号；A为所有动作a的集合；各发电商根据状态s利用探索‑利用策略得出报价动作a_i并提交给市场；所有发电商均完成动作提交后，市场进行出清，并将各发电商的收益r_i和下一状态的中标状态s’反馈给各发电商；更新所有发电商的值函数Q_i(s,a_i)；根据更新后的值函数Q_i(s,a_i)，对每一个a_i∈A_i，更新平均估计策略和策略π_i(s,a_i)。本发明能够有效地帮助发电商得到较优的竞价策略，并且模型简单，算力资源利用率高，能够通过较少的迭代轮数达到纳什均衡状态，为推动电力交易的持续、协调、健康发展提供科学决策服务保障。

技术领域

本发明涉及电力市场交易领域，尤其涉及一种电力现货日前市场辅助报价方法。

背景技术

日前电力市场会在交易日前一天，由独立调度机构(ISO)将交易日的预测负荷(负荷需求量)公布给各发电商，各发电商从自身收益最大化出发，根据发电能力和报价限值来计划报价方案，之后将报价方案提交予市场运营机构，运营机构进行统一出清，得出各发电商的中标电价与中标电量并将结果反馈给各发电商。

传统日前电力交易业务的开展往往依托于人工，在电力市场化改革进程的蓬勃发展的新形势下，随着电力交易市场的不断开放与试行，传统人工方式已经不能满足和及时响应高频度的交易分析与辅助决策技术需求。

强化学习是机器学习中的一个重要分支，它用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。而多智体强化学习过程是指当环境中存在多个智能体，每个智能体通过与环境进行交互获取奖励值(reward)来学习改善自己的策略，最后达到一种均衡状态。

发明内容

为了解决上述技术问题，本发明提供了一种基于WoLF-PHC改进算法的电力现货日前市场辅助报价方法，能够有效地帮助发电商得到较优的竞价策略，并且模型简单，算力资源利用率高，能够通过较少的迭代轮数达到纳什均衡状态，为推动电力交易的持续、协调、健康发展提供科学决策服务保障。

为了实现上述发明目的，本发明提供的技术方案包括：

一种电力现货日前市场辅助报价方法，包括步骤：

步骤S1.将各发电商的报价行为作为动作a；将各发电商的中标情况作为状态s；将发电商报价后可获得的收益作为回报r；将市场出清结果作为交互过程中的环境；将发电商在中标后可以采取的报价动作作为策略π；

步骤S2.初始化下列参数：状态-行为值函数Q_i(s,a_i)＝0；策略π_i(s,a_i)＝1/|A_i|；平均策略其中，i为发电商编号；A为所有动作a的集合；

步骤S3.各发电商根据状态s利用探索-利用策略得出报价动作a_i并提交给市场；

步骤S4.所有发电商均完成动作提交后，市场进行出清，并将各发电商的收益r_i和下一状态的中标状态s’反馈给各发电商；

步骤S5.更新所有发电商的值函数Q_i(s,a_i)；