[发明专利]一种基于增强学习的轨道交通自动仿真建模方法及装置

权利要求书

1.一种基于增强学习的轨道交通自动仿真建模方法，其特征在于，所述自动仿真建模方法包括，

以车站和客流作为仿真的研究对象，搭建客流仿真系统；

基于车站a在t时刻的客流拥挤度仿真模拟值、列车行驶区段b在t时刻的客流拥挤度仿真模拟值和仿真系统中列车在t时刻的发车时间间隔，初始化客流仿真系统在列车运行过程中t时刻的状态为，其中，a、b均为大于0的整数；

在列车运行过程中t时刻的状态下，确定列车行驶区段的断面客流量拥挤度的惩罚函数和乘客在t时刻选择路径动作的惩罚函数；

将在列车运行过程中t时刻的状态下，乘客选择路径动作得到的奖赏值作为所述研究对象在t时刻的回报函数；

执行客流仿真系统仿真训练，更新Actor网络参数、Critic网络参数、Actor目标网络的网络参数和Critic目标网络的网络参数；

基于Actor网络参数、Critic网络参数、Actor目标网络的网络参数和Critic目标网络的网络参数，获取训练完成的客流仿真模型；

基于所述客流仿真模型，提取动作函数作为乘客的路径选择概率生成函数。

2.根据权利要求1所述的基于增强学习的轨道交通自动仿真建模方法，其特征在于，在列车运行过程中t时刻的状态下，列车行驶区段的断面客流量拥挤度的惩罚函数满足：

其中，表示车站a在t时刻的客流拥挤度仿真模拟值，表示车站a在t时刻的客流拥挤度的实际取值，表示在t时刻列车所行驶区段b的客流拥挤度仿真模拟值，表示在t时刻列车所行驶区段b的客流拥挤度实际取值，M表示列车运行过程中从t时刻至T时刻所经过的车站数目，N表示列车运行过程中从t时刻至T时刻所经过的区段数目，t为列车行驶区段断面流量统计的起始时刻，T表示列车行驶区段断面流量统计的结束时刻。

3.根据权利要求2所述的基于增强学习的轨道交通自动仿真建模方法，其特征在于，在列车运行过程中t时刻的状态下，确定乘客在t时刻选择路径动作的惩罚函数满足：

其中，表示在t时刻的状态下，乘客采取的路径选择动作；n表示每个OD之间具有的路径数目，且n为大于0的整数，表示在t时刻的第j个OD内，乘客选择第r条路径的概率，j表示列车在运行过程的列车OD，j为大于0的整数，且r∈n，为一个极小的正实数，为一个极大的正实数。

4.根据权利要求3所述的基于增强学习的轨道交通自动仿真建模方法，其特征在于，所述研究对象在t时刻的回报函数满足：

。

5.根据权利要求3所述的基于增强学习的轨道交通自动仿真建模方法，其特征在于，所述执行客流仿真系统仿真训练，更新Actor网络参数、Critic网络参数、Actor目标网络的网络参数和Critic目标网络的网络参数之前还包括,

初始化Actor网络参数和Critic网络参数；

采用参数为和的深度神经网络表示确定性策略和动作值函数；

基于Actor策略网络，将列车运行过程中t时刻的状态作为输入，更新确定性策略；

基于Critic值网络，将列车运行过程中t时刻的状态与乘客在t时刻选择路径动作的惩罚函数作为输入，以获取状态动作对的值函数。

6.根据权利要求5所述的基于增强学习的轨道交通自动仿真建模方法，其特征在于，所述自动仿真建模方法还包括设置Actor策略网络，所述Actor策略网络包括输入层、多个隐层和输出层，其中，

所述Actor策略网络的输入层设置为3个节点；

所述Actor策略网络的多个隐层激活函数采用ReLU函数；

所述Actor策略网络的输出层采用sigmoid激活函数。