[发明专利]一种基于增强学习的轨道交通自动仿真建模方法及装置

说明书

本发明公开了一种基于增强学习的轨道交通自动仿真建模方法及装置，所述方法包括，首先，以客流作为仿真的研究对象，搭建客流仿真系统；初始化客流仿真系统在t时刻的状态为，其次，仿真模拟获得列车在行驶区段的断面客流量拥挤度惩罚函数和乘客t时刻选择路径动作的惩罚函数；然后，将乘客选择路径动作所得到的奖赏值作为研究对象在t时刻的回报函数；然后，执行客流仿真系统仿真训练，更新相关网络参数，然后，获取训练完成的客流仿真模型；最终，提取动作函数作为旅客的路径选择概率生成函数。根据已知的运行逻辑和参数建立仿真系统，自动的获得仿真系统中未知的参数取值，从而获得仿真模型能够准确描述真实系统。

技术领域

本发明属于轨道交通领域，特别涉及一种基于增强学习的轨道交通自动仿真建模方法及装置。

背景技术

现有的轨道交通领域应用的仿真建模是采用由特殊到一般的逻辑归纳方法，根据一定数量的在系统运行过程中实测、观察的物理量数据，运用统计规律、系统辨识等理论合理估计出反映系统各物理量相互制约关系的数学模型，其主要依据是来自系统的大量实测数据。当对所研究系统的内部结构和特性尚不清楚、未知部分参数时，系统内部的机理变化规律就不能确定，往往很难获取能够准确描述真实系统的仿真参数，导致仿真模型与真实系统之间存在差异，即导致仿真系统与真实系统不相匹配，难以支撑对复杂系统的深入研究分析和决策制定。

此外，既有仿真建模方法中通过专家分析或研究者主观设置方式，通常由于未充分考虑系统中的复杂的运行逻辑和状态转移过程，所考虑的因素过于片面，与实际系统之间存在差异较大。进一步，采用函数标定的方式进行仿真参数获取时，往往需要被模拟真实系统运行参数与运行指标之间关系的大量的标签数据，这在仿真建模和仿真系统研发过程中往往难以获取。

从而，如何提供一种能够充分考虑轨道交通的运行逻辑、自动获取合理仿真参数的仿真建模方法及装置越来越成为亟待解决的技术问题。

发明内容

针对上述问题，本发明提供了一种基于增强学习的轨道交通自动仿真建模方法及装置，获取的仿真模型能够准确的描述真实系统。

本发明的目的在于提供一种基于增强学习的轨道交通自动仿真建模方法，所述自动仿真建模方法包括，

以车站和客流作为仿真的研究对象，搭建客流仿真系统；

基于车站a在t时刻的客流拥挤度仿真模拟值、列车行驶区段b在t时刻的客流拥挤度仿真模拟值和仿真系统中列车在t时刻的发车时间间隔，初始化客流仿真系统在列车运行过程中t时刻的状态为，其中，a、b均为大于0的整数；

在列车运行过程中t时刻的状态下，确定列车行驶区段的断面客流量拥挤度的惩罚函数和乘客在t时刻选择路径动作的惩罚函数；

将在列车运行过程中t时刻的状态下，乘客选择路径动作得到的奖赏值作为研究对象在t时刻的回报函数；

执行客流仿真系统仿真训练，更新Actor网络参数、Critic网络参数、Actor目标网络的网络参数和Critic目标网络的网络参数；

基于Actor网络参数、Critic网络参数、Actor目标网络的网络参数和Critic目标网络的网络参数，获取训练完成的客流仿真模型；

基于所述客流仿真模型，提取动作函数作为旅客的路径选择概率生成函数。

进一步地，在列车运行过程中t时刻的状态下，列车行驶区段的断面客流量拥挤度的惩罚函数满足：