[发明专利]一种基于深度强化学习的电力选线方法

权利要求书

1.一种基于深度强化学习的电力选线方法，其特征在于，包括以下步骤：

步骤1：明确选线时考虑的影响因子；

步骤2：收集已有输电线路所在区域内各影响因子所对应的数据，并对收集到的数据进行处理；

步骤3：影响因子量化和标准化，将具有不同计量单位、度量尺度或定性的影响因子进行标准化处理，使它们具有统一的度量尺度；

步骤4：构建样本库：将影响因素所对应的数据进行标准化处理，然后将每种数据展示在二维GIS环境中，形成GIS的一个图层，最后将该所有图层栅格化为一张多波段图像，将连续的路径打断成片段，用路径片段处的图像、智能体的位置和路径片段的走向组合为状态-决策对，将这种状态-决策对作为样本，形成样本库；

步骤5：基于深度强化学习，建立基于深度Q网络反射性机制的全卷积神经网络模型；该模型有5个卷积层和1个Softmax层；该模型的输入为图像，输出为各方向的概率值；卷积层从前至后分别有150、100、100、50、8个滤波器；特征张量的空间尺寸在卷积层1-4中保持不变，与原图像相同；在第5个卷积层中引入了注意力机制，它根据智能体在图像中的坐标，通过一对一的映射，找到其在特征张量中的位置，通过特征张量在该位置的各通道值作为特征，从而将输出图像的空间域尺寸变为1×1；Softmax层将第5个卷积层的输出作为智能体在各路径规划方向上的得分，这些方向包含东、西、南、北、东北、西北、东南、西南；然后将得分映射成概率值，在最终决策时采取概率最高的行动方向进行单步规划；

步骤6：模型训练与测试，将样本库中70%的样本作为训练集，余下30%的样本作为测试集；训练过程为：（1）使用随机初始化方式设置神经网络的权重；（2）使用RMSProp算法进行权重优化；（3）训练时，目标函数使用“交叉熵”损失函数，通过基于梯度的优化算法对损失函数进行优化，从而达到模型权重学习的目的；最后，用测试集对训练好的模型进行测试；

步骤7：利用模型进行电力选线；首先在给定起止点和选线范围后，收集该范围内影响因素所对应的各种数据，将其进行标准化，并转换为图像；其次，让训练好的模型读取图像和智能体位置；再次，模型计算输出结果，选取概率向量的最大值对应的行动作为决策结果；然后，智能体根据决策结果行动，同时更新自身的位置信息，反馈给环境；此时判断规划是否超时；如果超时，则结束路径规划，否则判断智能体是否到达目标位置；如果已经到达目标位置，则结束，路径规划完成，否则，继续进行模型决策，直至结束。

2.如权利要求1所述的电力选线方法，其特征在于：所述步骤1中的影响因子具体为居民地、规划区、工业用地、河漫滩、水体林地、耕地、草地、荒漠与裸露地表、地质、坡度、交通通达度、交叉跨越、线路施工困难区、冰区、污区、转角、距离、水文条件、气象条件、雷害风险区、风景区、自然保护区、核心规划区、历史文化古迹、机场、军事区、不可跨越地物。

3.如权利要求2所述的电力选线方法，其特征在于：所述步骤2中所对应的数据具体为遥感影像数据、地形图数据、DEM、地质数据、土地利用数据、水文气象数据、冰区污区数据、雷害风险区数据、技术规范。

4.如权利要求3所述的电力选线方法，其特征在于：

所述步骤3中的具体步骤为：（1）组成专家组；（2） 向专家提出需进行标准化的影响因子，因子的量化取值区间定义为1至9，1代表最适宜建设输电线路，9代表最不适宜；（3） 专家根据经验和相关材料反馈各因子的量化值；（4） 汇总各专家的量化值，进行归纳，再反馈给每位专家，让其修改自己的量化值；（5） 汇总各专家的修改值，再次将汇总结果分发给各位专家，直到各因子量化值较为统一；（6） 对每种因子的量化值取平均值，该平均值即为该因子的标准化值。