[发明专利]一种基于Q学习的高速列车运行调整方法与系统

说明书

本发明公开了一种基于Q学习的高速列车运行调整方法与系统，涉及高铁动态调度技术领域。不仅准确描述列车运行调整过程的状态、动作和策略以及以满足列车晚点时间最小为目标函数的奖励函数，通过交互学习方式得到突发事件下晚点列车动态调整方案辅助调度员做决策，而且从高铁路网资源的时空供给和约束两个角度，设计并搭建了支持机‑机交互的路网运行仿真模块，不仅可以仿真正常运营及典型突发事件引起的晚点的运行场景，而且可以快速地接收调度方案自动生成的调度指令模拟列车运行，刻画了高铁路网的动态变化过程，校验调度方案的可行性。最后输入真实的运行场景数据得到调度方案，验证该方法与系统的有效性，为列车动态运行调整方法提供了新的解决思路。

技术领域

本发明涉及高铁动态调度技术领域，尤其涉及一种基于Q学习的高速列车运行调整方法与系统。

背景技术

列车运行调整是铁路运输生产中的一个核心关键环节。高速列车在运行过程中容易受到天气、设备故障、突发事件等因素的影响，会使得列车的实际运行轨迹偏离预先制定的列车运行计划，需要及时地对列车运行时间进行调整，保证让它能够最大程度地与列车运行图贴合，否则将会造成一系列不可预估的损失，需要一种方法得到一个较优的调度方案，并通过现有的调度系统进行仿真验证。目前我国高速铁路主要采用“总公司—路局调度中心—基层站段”三级统一调度，高速铁路调度指挥主要还是以人工调度为主，调度员的主要任务是按照计划时刻表安排列车，并不断地监视铁路运行状况，分析有关列车位置和基础设施的数据，评估与计划时刻表是否相符，对所导致的延迟做出及时而正确的响应。调度员主要凭借人工经验制订调整方案，通常需要在短时间内做出调整，劳动强度大。当路网复杂，列车晚点数量增多，人工凭经验难以考虑到所有约束条件和多种可行方案，通常制订出来的调度方案尽管是可行的，但未必是满意的，无法做到精细化调整。

列车运行调整问题是NP(Nondeterministic Polynomially，非确定性多项式)问题，目前求解列车运行调整的方法主要包括三大类：运筹学方法、仿真方法和人工智能算法。运筹学方法有较完善的理论基础，对于高铁这样庞大复杂的动态时变、关联强和安全约束多的系统，难以建立准确的过程模型，通常会做较多的假设和简化，所得到的解可行性需进一步验证。仿真方法存在着计算量太大，实时性较差的问题。目前人工智能算法中启发式算法应用较多，存在着随问题规模变大求解效率变低，难以得到较优的解。

随着计算机技术的发展和人工智能技术逐步成熟，利用现代先进的信息处理技术更准确、更快捷地解决由于各种原因造成的列车晚点，不仅可以提高整个高速铁路网及调度中心系统的应急处理能力，而且能更好地满足高铁运营和发展的需求和提高乘客满意度。Q学习(Q-learning)算法主要应用于城际交通协调控制问题、高速列车节能优化问题，很少将该方法应用于求解突发事件下列车运行调整问题，该算法可以解决随着规模变大求解效率变低，难以得到较优解问题。然而实现Q学习算法需要列车运行仿真软件有交互能力，而目前列车运行仿真软件的研究有很多，虽然具备了非常准确的仿真列车运行过程能力，但这些仿真系统并不是为机器学习而设计开发的，仿真效率慢，以人机交互为主，缺少快速的“机-机”交互能力，不适用于需要大量交互和运行场景不断变化的强化学习。

发明内容

针对上述现有技术的不足，本发明提供一种基于Q学习的高速列车运行调整方法与系统。

本发明的技术方案是：

一种基于Q学习的高速列车运行调整方法，包括以下步骤：

步骤1：获取列车调度场景中的相关数据；