[发明专利]一种基于强化学习算法的输电网扩展规划方法

权利要求书

1.一种基于强化学习算法的输电网扩展规划方法，其特征在于，包括以下步骤：

步骤1：根据现状电网建设情况，确定线路待选集F，以线路待选集F为基础，构建强化学习的环境、状态、动作及对应智能体，构建适用于输电网扩展规划的QTEP算法；

步骤2：设定自适应因子λ，修正Q值计算方法，来提升QTEP算法的收敛速度；

步骤3：以规划周期内综合经济成本最小为目标构建目标函数，以电网运约束、N-1电网安全约及蒙特卡洛误差约束为约束条件，建立综合考虑经济性和可靠性的电网扩展规划优化模型；

步骤4：根据步骤3建立的优化模型，设计QTEP算法的综合特性反馈奖励函数和收敛条件，利用QTEP算法求解优化模型，得到综合考虑经济行和可行性的最优输电网扩展规划模型。

2.根据权利要求1所述的一种基于强化学习算法的输电网扩展规划方法，其特征在于，步骤1所述的强化学习的环境、状态、动作及对应智能体，以及QTEP算法构建步骤为：

步骤1.1：根据现状电网建设情况，确定由n条线路组成的线路待选集F＝{l₁,l₂,…,l_k,…,l_n}，其中l_k为第k条待建设线路；

步骤1.2：构建QTEP算法环境为线路待选集F＝{l₁,l₂,…,l_k,…,l_n}本身，即所有可选的待建设线路；

步骤1.3：构建QTEP算法状态为智能体根据线路待选集F给出的当前规划方案；

步骤1.4：构建QTEP算法动作为改变当前规划方案的线路待选集状态；

步骤1.5：建立智能体动作更新策略，即每一次动作仅改变一条线路状态；

步骤1.6：构建QTEP算法智能体，智能体为状态和动作两个属性的集合。

3.根据权利要求1所述的一种基于强化学习算法的输电网扩展规划方法，其特征在于，步骤2中设计的自适应因子λ，Q值计算方法修正为：

式中，Q(s_i,a_i)为状态s_i下对应动作a_i的Q值，为状态s_i下对应动作a_i的反馈奖励，γ为折现率；为当智能体执行动作a_i转移至状态s_i+1时，智能体在状态s_i+1下的建设线路的数量；n为待选线路总量。

4.根据权利要求1所述的一种基于强化学习算法的输电网扩展规划方法，其特征在于，步骤3中的目标函数为规划方案投资成本与可靠性成本之和的最小值，投资成本为等年值法折算的年平均费用，可靠性成本通过蒙特卡洛等分散法求得。

5.根据权利要求4所述的一种基于强化学习算法的输电网扩展规划方法，其特征在于，

目标函数表达式为：

式中，C_f为综合经济成本；r为预期投资收益，a₀为投资服务年限，a₁为规划建设年限；ρ为线路年维护费用系数；F＝{l₁,l₂,…,l_n}表示为由n条线路组成的线路待选集；为线路l_k的投资成本；表示线路l_k的建设情况，0表示为建设，1表示投建线路；Φ为系统状态集合，w为其中某一状态，系统转移至该状态的概率由P_Φ(w)表示；P_w,b在该状态下的是节点b的缺供电量，而c_w,b为其失电成本；Θ为节点集合，包含电力系统所有节点；T表示负荷持续总时间。