[发明专利]一种基于强化学习算法的输电网扩展规划方法

说明书

本发明公开了一种基于强化学习算法的输电网扩展规划方法，属于电网规划技术领域，先基于获取电网规划待选线路集，构建适用于电网规划的QTEP算法环境、状态、动作和智能体，并设计自适应因子；再综合考虑投资成本和可靠性成本，以规划周期内综合经济最优为目标，以电网运行约束、N‑1电网安全约束和蒙特卡洛误差约束为约束条件，建立优化模型；最后根据优化模型，结合综合特性反馈奖励函数与算法收敛条件，以强化学习思路求解优化模型，得到最优综合经济性的输电网扩展规划方案。本发明首次将强化学习思路应用至输电网扩展规划，求解思路贴合规划人员，所得规划方案合理准确，能有效提升输电网扩展规划的效率及准确性。

技术领域

本发明属于电网规划技术领域，特别涉及是一种基于强化学习算法的输电网扩展规划方法。

背景技术

输电网扩展规划是确定在什么时间、什么地方、建设什么类型和容量的输变电工程。随着我国电网不断建设，我国已经进入大电网时代，电网规模的增大导致输电网扩展规划问愈发难以求解。

现阶段，输电网扩展规划问题的常用求解方法分为数学优化方法和启发式算法两类。其中数学优化方法将非线性的优化模型转化线性化进行求解，常用方法为整数规划、线性规划等。数学优化方法理论上来说能得到最优解，但模型线性化后的最优解可能失真，且电网互联背景下，数学优化方法存在计算量大、求解困难等问题，难以服务于工程实际。启发式算法是近代以来新兴的一类算法，是通过模拟自然界中的一些现象的求解方法，常用方法有粒子群算法、遗传算法、蚂蚁算法等。启发式算法的计算模式贴近人的思考模式，易于理解，但由于收敛性问题，一般能得到几组局部最优解，难以给出全局最优解。

随着电网规模的不断扩大和电力系统复杂程度的不断加深，数学优化方法和启发式算法愈发难以满足输电网扩展规划问题求解，因此，需在当前理论的基础上，引入新方法，适应电网互联背景下的输电网扩展规划问题求解。

发明内容

本发明的目的在于：针对上述存在的问题，本发明提供一种基于强化学习算法的输电网扩展规划方法。通过构建适用于输电网扩展规划的QTEP算法(Q-learning forTransmission Expansion Planning)，求解以综合经济成本最优为目标的输电网扩展规划优化模型，最终得到适应电网互联背景下的最优扩展规划方案。

本发明采用的技术方案如下：

一种基于强化学习算法的输电网扩展规划方法，包括以下步骤：

步骤1：根据现状电网建设情况，确定线路待选集F，以线路待选集F为基础，构建强化学习的环境、状态、动作及对应智能体，构建适用于输电网扩展规划的QTEP算法；

步骤2：设定自适应因子λ，修正Q值计算方法，来提升QTEP算法的收敛速度；

步骤3：以规划周期内综合经济成本最小为目标构建目标函数，以电网运约束、N-1电网安全约及蒙特卡洛误差约束为约束条件，建立综合考虑经济性和可靠性的电网扩展规划优化模型；

步骤4：根据步骤3建立的优化模型，设计QTEP算法的综合特性反馈奖励函数和收敛条件，利用QTEP算法求解优化模型，得到综合考虑经济行和可行性的最优输电网扩展规划模型。

优选的，步骤1所述的强化学习的环境、状态、动作及对应智能体，以及QTEP算法构建步骤为：

步骤1.1：根据现状电网建设情况，确定由n条线路组成的线路待选集 F＝{l₁,l₂,…,l_k,…,l_n}，其中l_k为第k条待建设线路；

步骤1.2：构建QTEP算法环境为线路待选集F＝{l₁,l₂,…,l_k,…,l_n}本身，即所有可选的待建设线路；