[发明专利]列车运行速度曲线优化方法

说明书

本发明提供一种列车运行速度曲线优化方法，属于列车控制技术领域，包括：采集列车运行线路的线路数据，所述线路数据包括运行线路的动态线路数据与运行线路的静态线路数据；对列车运行线路的线路数据进行预处理与数据增强处理；在Python环境下，构建基于学习马尔可夫决策过程策略算法的防护模型；基于处理后的线路数据，训练并压缩所述防护模型，通过训练和压缩好的防护模型生成列车速度曲线。本发明基于静态线路数据和动态线路数据，然后通过数据预处理、Shield Q‑learning算法实现列车运行过程中的运行指令推荐，再根据结果进行模型的训练、压缩和部署，以便用于实时辅助列车司机的安全高效驾驶，有效提升了列车的运行舒适度，保障了旅客的出行安全。

技术领域

本发明涉及列车控制技术领域，具体涉及一种基于Shield Q-learning算法的列车运行速度曲线优化方法。

背景技术

列车推荐速度曲线在实际线路运营中作为ATO系统控制器的跟踪目标，指导列车运行。优化的列车速度曲线，能够有效降低列车牵引能耗，因此，如何生成一条节能、安全、高效、舒适的曲线成为了众多学者关注的重点。工程中曲线的生成主要依赖于ATP曲线约束和人类经验判断。从已有研究成果来看，列车速度曲线优化与运行控制等方面已经开展了大量的理论与技术研究工作，主要包括利用极大值原理进行数学推导的解析法、将优化目标函数作为适应度函数进行种群迭代的遗传算法和蚁群算法等进化算法以及与计算机科学结合的动态规划、人工智能等数值法。

面对列车自身的运动模型难以用精确参数进行描述的问题以及未来列车自主运行的发展趋势，使得强化学习被越来越多的学者应用，利用列车运行历史数据训练Q表格，降低对精确列车模型的依赖程度。然而，由于缺乏硬约束对求解过程进行防护，强化学习的实际结果总是不能令人满意，收敛速度也很难达到预期水平。因此，能否准确校验推荐运行工况的安全与否，提高强化学习算法的安全性是当前需要解决的问题。

发明内容

本发明的目的在于提供一种列车运行速度曲线优化方法，以解决上述背景技术中存在的至少一项技术问题。

为了实现上述目的，本发明采取了如下技术方案：

本发明提供一种列车运行速度曲线优化方法，包括：

步骤S1，采集列车运行线路的线路数据，所述线路数据包括运行线路的动态线路数据与运行线路的静态线路数据；其中，静态线路数据包括线路的静态限速、坡度以及曲率；动态线路数据包括线路在客流平峰、高峰时的计划站间运行时间；

步骤S2，对列车运行线路的线路数据进行预处理与数据增强处理；

步骤S3，在Python环境下，构建基于学习马尔可夫决策过程策略算法的防护模型；

步骤S4，基于步骤2处理后的数据，训练并压缩所述防护模型，通过训练和压缩好的防护模型生成列车速度曲线。

优选的，构建所述防护模型包括：构建Q表，提取当前状态输入Q表，根据当前状态选择动作；将当前状态与选择的动作进行校验，校验通过的为当前状态安全动作；根据当前状态以及经过校验后的当前状态安全动作计算奖励和下一状态；将当前状态及安全动作输入Q表。

优选的，将下一状态输入Q表，根据下一状态选择动作；将下一状态以及根据下一状态选择的动作进行校验，校验通过的为下一状态安全动作；将奖励、下一状态和下一状态安全动作输入Q表，进行Q表更新。

优选的，构建Q表包括：使用时间步长与列车运行工况初始化Q表，其中，列车运行工况通常包括最大牵引、巡航、惰行、最大制动四种工况；根据列车运行图的计划运行时间对Q表进行再初始化，将与列车运行图吻合的时间步长-工况节点赋值为正常数。

优选的，根据当前状态选择动作，包括：在获得当前状态后，生成随机数；若随机数小于探索概率，则随机选择动作，此时为探索策略；否则，选择Q表中在当前状态下Q值最大的动作，此时为贪婪策略。