[发明专利]一种基于深度强化学习的机车智能操纵方法与系统

权利要求书

1.一种基于深度强化学习的机车智能操纵系统，其特征在于，所述机车智能操纵系统包括数据源模块、机车运行环境学习模块、评价机制学习模块和控制策略学习模块；

所述数据源模块用于对获得的数据源进行数据预处理，所述数据源包括机车运行日志、列车运行交路数据、列车运行能耗信息和列车运行时刻表信息，所述数据预处理是将所述机车运行日志和所述列车运行交路数据输送至所述机车运行环境学习模块，将所述列车运行能耗信息和所述列车运行时刻表信息输送至所述评价机制学习模块；

所述机车运行环境学习模块用于构建机车运行环境模型，所述机车运行环境学习模块包含列车运行参数的基础参数部分和扰动参数部分的学习，学习结果构成机车具体的运行环境，所述机车运行环境学习模块将获得的所述机车具体的运行环境输送至所述控制策略学习模块；

所述评价机制学习模块将从所述数据源模块中获得的信息结合评价机制得到机车运行过程中所需要的奖赏函数，所述奖赏函数作为所述评价机制的反馈数据被所述评价机制学习模块输送至所述控制策略学习模块；

所述控制策略学习模块从所述机车运行环境学习模块和所述评价机制学习模块分别获得所述机车具体的运行环境和所述奖赏函数，并进行基于深度强化学习方法的列车优化操纵策略学习训练，与所述机车运行环境模型进行不断的交互学习，通过所述评价机制学习模块得到反馈的所述奖赏函数从而用于指导列车之后的操纵序列，并通过策略更新机制，得到所述机车最终的实际操纵策略。

2.根据权利要求1所述的基于深度强化学习的机车智能操纵系统，其特征在于，所述评价机制包括列车操作评分机制学习和不规范操作惩罚评分机制设计。

3.根据权利要求1所述的基于深度强化学习的机车智能操纵系统，其特征在于，所述控制策略学习模块进行深度强化学习是基于DQN模型进行的，所述DQN模型与所述机车运行环境模型进行不断的交互学习。

4.一种基于深度强化学习的机车智能操纵方法，其特征在于，所述机车智能操纵方法通过如下步骤实现：

S1：对数据源进行预处理；

从数据源中提取出机车运行环境模型学习的特征数据，即机车运行日志和列车运行交路数据，构成机车运行环境监督学习算法学习的样本数据；从数据源中提取出列车运行能耗信息和列车运行时刻表信息的数据作为评价机制学习的参数；

S2：机车运行环境的学习与构建；

通过机车的运行环境信息采用基于历史运行数据的监督学习和动态时序图算法进行机车运行环境模型的训练和构建，机车运行环境模型通过学习获得机车具体的运行环境，并将获得的机车具体的运行环境用于控制策略学习；

S3：评价机制学习；

将从数据源中获得的信息结合评价机制针对特定行驶路线和机车状态信息进行短区间内的目标观察获得机车运行的奖赏函数，奖赏函数作为机车操纵的评价值被用于控制策略学习；

S4：控制策略学习；

采用深度强化学习方法对机车具体的运行环境进行控制策略学习，并通过获得的奖赏函数对运行状态进行策略的更新与优化，进而获得机车的优化操纵控制策略。

5.根据权利要求4所述的基于深度强化学习的机车智能操纵方法，其特征在于，所述机车智能操纵方法还包括策略更新机制，优化后的所述控制策略能够应用所述策略更新机制进行实时的策略更新，指导自身在当前控制策略的基础上，实时自适应学习得出更优化的控制策略，实现机车控制策略的逐步优化。

6.根据权利要求4所述的基于深度强化学习的机车智能操纵方法，其特征在于，在步骤S2中，机车的运行环境信息包括机车运行日志、列车运行交路数据构成的列车本身的状态信息和外界的环境参数信息，其中大部分参数在一定的范围内波动，是可通过历史数据观察和预测到的波动信息，而有小部分参数在实际场景中是不确定性的，并可能发生不可预测的波动。

7.根据权利要求6所述的基于深度强化学习的机车智能操纵方法，其特征在于，所述机车运行环境模型通过监督学习算法基于机理模型完成列车运行基础模型参数学习来实现对普场景的覆盖，基于动态图模型完成列车运行环境扰动参数学习。