[发明专利]一种基于深度Q网络的发电商竞价行为模拟方法及系统

说明书

本发明公开了一种基于深度Q网络的发电商竞价行为模拟方法及系统，所述方法包括：构建状态空间S、动作空间A以及奖励函数；设置代理模型参数，并对所述代理模型进行初始化处理；其中，所述参数包括：动作空间参数A_min、A_max、H；状态空间维数；探索概率ε；当前值网络和目标值网络的结构层数，各层神经元个数及激活函数，优化器参数；所述代理模型进行申报竞价，市场运营机构根据所述申报竞价进行市场出清计算；所述代理模型训练同步值网络，直到满足结束条件；其中，所述结束条件包括：达到最大学习次数或市场已达到均衡状态。本发明能够解决传统RL算法难以有效模拟发电商实际的竞价行为，提高代理模型竞价行为的准确性和合理性。

技术领域

本发明涉及电力市场技术领域，特别是涉及一种基于深度Q网络的发电商竞价行为模拟方法及系统。

背景技术

电力市场仿真技术主要有实验经济学和基于代理的计算经济学方法两种方法。实验经济学主要通过合理的实验设计以参与实验的测试者的决策和表现模拟真实市场中发电成员的报价行为，然而受限于参与者的人数和对市场的认知水平，实验结果随机性较大，与市场总体的关系有待论证。而计算经济学方法则将智能代理模型内嵌到电力市场模拟研究框架中，利用人工智能方法做出报价决策。因此相比而言，基于代理的计算经济学方法更受到研究者的青睐。发电商代理模型是基于计算经济学的市场模拟技术的基础和难点，其结果不仅影响市场模拟的出清结果，其合理性也决定了市场动态模拟结果的合理性。

目前，国内外基于智能代理的发电商竞价模拟算法已经取得了一定的研究成果，但多集中于传统的强化学习(Reinforcement Learning，RL)算法；例如以下几种代理模型：(1)基于生成对抗网络(GAN)建立了发电商代理模型，并从历史和仿真数据挖掘其竞价行为，然而该模型忽略了实际发电商的决策能力；

(2)建立了发电商多输入决策因子代理模型，并模拟了负荷需求变化条件下发电商的动态行为演化过程，然而采用的VRE算法是一种一维环境的学习模型，因此该模型对市场环境的观察和感知的有效性有待验证；

(3)开发了Q learning算法的发电商竞价决策程序模块，并指出了Q learning算法具有更强的探索能力，然而受限于传统Q learning算法的局限性，该模型只能处理离散且低维的市场环境，决策时也未考虑到线路阻塞和历史中标等情况。

然而实际电力市场是一个复杂的系统，发电商竞价行为更是一个大规模和连续空间的马尔可夫决策过程(Markov Decision Process，MDP)问题，因此传统RL算法难以有效模拟发电商实际的竞价行为。

发明内容

本发明的目的是：提供一种基于深度Q网络的发电商竞价行为模拟方法及系统，能够解决传统RL算法难以有效模拟发电商实际的竞价行为，提高代理模型竞价行为的准确性和合理性。

为了实现上述目的，本发明提供了一种基于深度Q网络的发电商竞价行为模拟方法，包括：

构建状态空间S、动作空间A以及奖励函数；其中，所述状态空间S选取时刻节点电价、时刻最高中标段以及所连线路时刻阻塞情况作为状态特征；所述动作空间A是基于边际成本曲线进行构建；所述奖励函数根据发电利润获得；

设置代理模型参数，并对所述代理模型进行初始化处理；其中，所述参数包括：动作空间参数A_min、A_max、H；状态空间维数；探索概率ε；当前值网络和目标值网络的结构层数，各层神经元个数及激活函数，优化器参数；回放记忆单元容量；最大学习次数及当前值网络和目标值网络同步频率t_step；

所述代理模型进行申报竞价，市场运营机构根据所述申报竞价进行市场出清计算；

所述代理模型训练同步值网络，直到满足结束条件；其中，所述结束条件包括：达到最大学习次数或市场已达到均衡状态。