[发明专利]基于分层的深度策略梯度网络的电网调控方法

说明书

一种基于分层的深度策略梯度网络的电网调控方法，为电网设计其状态表征向量和动作表征向量；动作空间进行聚类，使得每个簇的动作数目相等，基于分层的策略梯度网络，将状态表征向量作为网络的输入，使用策略梯度算法来设计电网调控模型，该模型共有两层，每层都是独立的策略梯度模型，第一层先选择动作簇，第二层选择簇内的具体动作，进行连续决策；基于仿真电网环境的离散的电网运行数据集，将所述模型和仿真电网运行环境进行交互，从仿真电网运行环境中得到当前状态，将要执行的电网动作交由仿真电网运行环境执行，实现电网调控的目的，本发明为电网的实时调控提供了一种可行手段。

技术领域

本发明属于智能电网技术领域，涉及电网潮流调控的人工智能增强，特别涉及一种基于分层的深度策略梯度网络的电网调控方法。

背景技术

电网是国民经济运行的核心基础设施，是高维紧耦合复杂动力学系统。通过向工业、服务和消费者提供可靠的电力，发挥着中心的经济和社会作用。电网运行调度与调控高度依靠安全稳定自动化装置作为第一道安全防线，防线失效后，整个系统最终的安全由人对电网的经验认知决策来保障。

传统的电网调控系统很难对调控策略及时进行调整，且调控策略制定周期较长。现有的调控策略通常是调度人员根据的电网安全稳定分析技术，通过计算机仿真计算，充分掌握电网安全运行的特征和规律，并需要迅速、精确地明晰电网薄弱点离线制定故障策略，因此十分依赖人工的经验。随着现代电网中可再生能源的不断接入，电网的运行方式的复杂性与时变性不断增加，使得调度员对安全运行时的特征信息与规律难以掌握，处理可再生能源和其他系统突发事件引起的不确定性方面的能力有限，传统的调控规则不能完全适应，面临重大的适应性和鲁棒性问题，增加了电网运行的风险。

现有的电网智能化调控方法多通过在电力系统的运行与管理中产生的海量数据与信息，提取电网中的关键特征帮助调度人员更有效的获取电网关键信息，或者根据电网运行状态制定精细的决策树辅助决策。然而当电网结构发生改变时，建立的电网调控模型需要重新设计和训练，无法根据电网整体状况确定调控策略，难以保证电网全局决策的可靠性和敏捷性。因此亟需建立泛化能力更强的，效率更高的电网调控模型。

文献[孙宏斌,黄天恩,郭庆来,等.面向调度决策的智能机器调度员研制与应用[J].电网技术,2020,44(1):1-8.]提出了一种电网调度运行“邻域知识”模型，该方法通过海量样本，并基于机器学习形成运行规则和知识图谱。

文献[Lan T,Duan J,Zhang B,et al.AI-based autonomous line flow controlvia topology adjustment for maximizing time-series ATCs[C]//2020IEEE PowerEnergy Society General Meeting(PESGM).IEEE,2020:1-5.]提出了一种模仿学习与深度强化学习相结合的方法，从而有效地提高了系统的容错性和鲁棒性。

文献[Kim B G,Zhang Y,Van Der Schaar M,et al.Dynamic pricing andenergy consumption scheduling with reinforcement learning[J].IEEETransactions on smart grid,2015,7(5):2187-2198.]、[Lincoln R,Galloway S,Stephen B,et al.Comparing policy gradient and value function basedreinforcement learning methods in simulated electrical power trade[J].IEEETransactions on Power Systems,2011,27(1):373-380.]通过开发强化学习Q值学习(QLearning)算法，在无需微电网相关的先验信息前提下，帮助微电网运行智能动态定价和客户的能耗调度策略，有效地平衡微电网经济管理运行和负载的能耗需求。