[发明专利]一种基于多步回溯强化学习算法的输电网扩展规划方法

说明书

本发明公开了一种基于多步回溯强化学习算法的输电网扩展规划方法，属于电网规划技术领域，本发明包括以下步骤：步骤1：建立输电网扩展规划优化模型；步骤2：基于构建的规划模型构建电网交互环境和智能体状态、动作、知识矩阵、资格迹矩阵，并给出基于行为分类的智能体动作策略；步骤3：设定自适应学习因子α，基于学习进程修正Q值计算方法，并设计阶段反馈奖励函数，构建多步回溯α‑Q(λ)算法；步骤4：根据步骤3构建的多步回溯α‑Q(λ)算法求解输电网多目标优化规划模型，得到最优输电网扩展规划方案及智能体规划经验，为电网规划提供新的思路。

技术领域

本发明属于电网规划技术领域，特别涉及一种基于多步回溯强化学习算法的输电网扩展规划方法。

背景技术

输电网扩展规划是确定在什么时间、什么地方、建设什么类型和容量的输变电工程；随着我国电网不断建设，我国已经进入大电网时代，电网规模的增大导致输电网扩展规划问题愈发难以求解。

现阶段，输电网扩展规划问题的常用求解方法分为数学优化方法和启发式算法两类；其中数学优化方法将非线性的优化模型转化线性化进行求解，常用方法为整数规划、线性规划等；数学优化方法理论上来说能得到最优解，但模型线性化后的最优解可能失真，且电网互联背景下，数学优化方法存在计算量大、求解困难等问题，难以服务于工程实际；启发式算法是近代以来新兴的一类算法，是通过模拟自然界中的一些现象的求解方法，常用方法有粒子群算法、遗传算法、蚂蚁算法等；启发式算法的计算模式贴近人的思考模式，易于理解，但由于收敛性问题，一般能得到几组局部最优解，难以给出全局最优解。

随着电网规模的不断扩大和电力系统复杂程度的不断加深，数学优化方法和启发式算法愈发难以满足输电网扩展规划问题求解，因此，需在当前理论的基础上，引入新方法，适应电网互联背景下的输电网扩展规划问题求解。

发明内容

本发明的目的在于：针对上述存在的问题，提供一种基于多步回溯强化学习算法的输电网扩展规划方法；应用多步回溯思想，构建α-Q(λ)算法求解输电网扩展规划优化模型，提出以资格迹矩阵记录并分析智能体行为，利用智能体在学习过程中所捕获的环境特征，得到最优规划方案的同时获取智能体规划经验，以机器学习视角为电力系统规划提供经验。

本发明采用的技术方案如下：一种基于多步回溯强化学习算法的输电网扩展规划方法，包括以下步骤：

步骤1：建立输电网扩展规划优化模型，包括目标函数、约束条件，其中，目标函数包含线路建设成本、发电机运行成本、电网维护成本、网损成本以及期望缺供电惩罚成本，约束条件包含N-1电网安全约束、电网运行约束；

步骤2：基于构建的规划模型构建电网交互环境和智能体状态、动作、知识矩阵、资格迹矩阵，并给出基于行为分类的智能体动作策略；

步骤3：设定自适应学习因子α，基于学习进程修正Q值计算方法，并设计阶段反馈奖励函数，构建多步回溯α-Q(λ)算法；

步骤4：根据步骤3构建的多步回溯α-Q(λ)算法求解输电网多目标优化规划模型，得到最优输电网扩展规划方案及智能体规划经验。

可选的，步骤1所述的目标函数表达式为：