[发明专利]一种复杂山区铁路线路智能化生成方法

权利要求书

1.一种复杂山区铁路线路智能化生成方法，其特征在于：包括以下步骤：

一、环境Environment搭建；

1.1、获取目标区域的设计线路信息；

1.2、利用地理信息系统GIS将研究区域划分为若干个网格；

二、设置环境Environment的各类属性；

2.1、设置智能体Agent的状态State，即智能体Agent在环境Environment中所输出的既有线路；

线路在优化过程中包含N次状态转换步骤，即transition step，则状态空间StateSpace在第i次步骤结束时为S_i：

S_i＝{[x_i,y_i,h_i]^T|x_i∈[0,W],y_i∈[0,H]}；

式中，i＝1,2,…,N；x_i和y_i代表了平面坐标，h_i为智能体在第i次步骤结束时所处的高程；W和H为目标区域网格的最大宽度和高度；当i＝1时，智能体处于线路的起点；

2.2、设置智能体Agent的动作Action，即智能体Agent输出的下一步空间线路走向；

每一次的transition step都是通过采用动作Action来完成的，动作空间A表示如下：

A＝{[Δx_i,Δy_i,G_i]^T|Δx_i∈[0,W],Δy_i∈[0,H],G_i∈[-G_max,G_max]}；

式中，Δx_i和Δy_i为智能体在采取动作时平面横纵坐标的移动量，G_i为状态S_i和S_i+1之间的纵断面坡度，由于需要满足纵断面限值条件：G_i≤G_max，G_i的范围设定为[-G_max,G_max]；

根据S_i、S_i+1和A_i之间的关系，下一步的状态S_i+1计算如下：

S_i+1＝[x_i+1,y_i+1,h_i+1]＝[x_i+Δx_i,y_i+Δy,h_i+G_i×l_i]；

式中，为S_i、S_i+1之间的距离，d为网格边长；

2.3、设置智能体Agent的奖励Reward，即智能体Agent输出线路走向以后，环境Environment给予智能体Agent的反馈；

通过采取动作A_i，智能体的状态从S_i过渡到S_i+1，此时环境Environment会给予智能体奖励R_i，R_i的表达式如下：

式中，以及分别为线路单位造价、生存状态以及距离线路终点的评价指标；u_c,u_s以及u_d为三者的权重系数；

三、采用强化学习中的DDPG来确定线路的最优路径；

3.1、创建一个Memory Buffer来存储从S_i过渡到S_i+1的transition step的各类属性，包括智能体当前的状态、在此状态下的动作、采取此动作后环境给予智能体的奖励以及采取此动作后智能体到达的下一步状态；

3.2、利用Memory Buffer的存储内容更新DDPG结构参数，从Memory Buffer中随机选择若干个transition step进行训练，首先将计算得到的policy gradient利用随机梯度下降法更新Main-Net中的Actor-Net，然后借助Target Net中的两个神经网络计算TD Error值用于更新Main-Net中的Critic-Net；

3.3、用DDPG优化铁路线路路径，直到线路路径收敛。