[发明专利]一种基于深度强化学习的机车智能操纵方法与系统

摘要

本发明涉及一种基于深度强化学习的机车智能操纵方法与系统，该系统包括数据源模块、机车运行环境学习模块、评价机制学习模块和控制策略学习模块，数据源模块为机车运行环境学习模块和评价机制学习模块提供所需的数据输入，机车运行环境学习模块和评价机制学习模块将分别获得的具体的运行环境和奖赏函数值输出至控制策略学习模块。基于深度强化学习算法，机车运行环境模型以机车操纵动作的实时评价作为反馈信息，通过奖赏或惩罚当前的操纵动作，给控制策略反馈一个奖赏函数作为奖赏评价值，控制策略结合运行状态迭代地进行策略的更新与优化。本发明能更好的实现机车智能优化操纵，并极大地减少了人工参与。

主权项

1.一种基于深度强化学习的机车智能操纵系统，其特征在于，所述机车智能操纵系统包括数据源模块、机车运行环境学习模块、评价机制学习模块和控制策略学习模块；所述数据源模块用于对获得的数据源进行数据预处理，所述数据源包括机车运行日志、列车运行交路数据、列车运行能耗信息和列车运行时刻表信息，所述数据预处理是将所述机车运行日志和所述列车运行交路数据输送至所述机车运行环境学习模块，将所述列车运行能耗信息和所述列车运行时刻表信息输送至所述评价机制学习模块；所述机车运行环境学习模块用于构建机车运行环境模型，所述机车运行环境学习模块包含列车运行参数的基础参数部分和扰动参数部分的学习，学习结果构成机车具体的运行环境，所述机车运行环境学习模块将获得的所述机车具体的运行环境输送至所述控制策略学习模块；所述评价机制学习模块将从所述数据源模块中获得的信息结合评价机制得到机车运行过程中所需要的奖赏函数，所述奖赏函数作为所述评价机制的反馈数据被所述评价机制学习模块输送至所述控制策略学习模块；所述控制策略学习模块从所述机车运行环境学习模块和所述评价机制学习模块分别获得所述机车具体的运行环境和所述奖赏函数，并进行基于深度强化学习方法的列车优化操纵策略学习训练，与所述机车运行环境模型进行不断的交互学习，通过所述评价机制学习模块得到反馈的所述奖赏函数从而用于指导列车之后的操纵序列，并通过策略更新机制，得到所述机车最终的实际操纵策略。