[发明专利]基于深度强化学习的混动列车的能量管理方法及系统

说明书

本发明公开了一种基于深度强化学习的混动列车的能量管理方法及系统，该方法包括：获取混动列车的列车运行速度、列车运行环境、列车运行能耗信息和列车运行动力总成信息的历史数据作为源数据；从源数据中提取速度、加速度以及电池电量作为输入，以能量管理策略作为输出，建立能量管理策略模型；建立列车动力仿真模型，将能量管理策略输入至列车动力仿真模型，获得仿真运行状态和奖励参数；以奖励参数对能量管理策略模型进行优化；通过深度强化学习进行离线训练得到优化后的能量管理策略模型；以混动列车的实时数据输入优化后的能量管理策略模型，获得优化的能量管理策略。本发明可实现完全应用机器学习人工智能手段进行混合动力列车能量管理。

技术领域

本发明涉及混合动力列车的能量管理技术领域，尤其涉及一种基于深度强化学习的混动列车的能量管理方法及系统。

背景技术

混合动力铁路列车(Hybrid Electric Train，HET)是使用可充电储能装置辅助牵引系统的铁路动力列车。混合动力铁路列车会在车上安装可充电储能装置，使用动力源(通常是柴油引擎)的过剩能量或者再生制动回收的电力替储能装置充电。混合动力列车具有多源的动力来源，动力源的来源较传统的列车更为复杂，因此高效节能的能量管理策略成为实现混合动力节能减排的关键。

目前商业应用中采用较多的简单规则式模式，电量消耗较快，且进入电量稳持模式后，燃油经济性提升空间将大幅受限。一种自适应最小能源消耗策略的实时能量管理策略可有效提高列车的燃油经济性，降低排放。

深度强化学习(DRL，deep reinforcement learning，DRL)是深度学习与强化学习相结合的产物，它集成了深度学习在视觉等感知问题上强大的理解能力，以及强化学习的决策能力，实现了端到端学习。深度强化学习的出现使得强化学习技术真正走向实用，得以解决现实场景中的复杂控制问题。如以DeepMind团队为代表的研究团队首次提出基于DQN(Deep Q-Network)的深度强化学习方法，并使用Atari 2600部分游戏作为测试对象，结果可以超过人类玩家。该机器学习技术上的突破随后在Nature期刊上进行发表，引起了机器学习研究领域的巨大轰动。与此同时，逐渐出现的深度强化学习能量管理策略在混合动力汽车上也展示了其良好的燃油经济性和鲁棒性。这些研究显示出了深度强化学习方法在混合动力列车能量管理上的潜力。

但是，目前基于深度强化学习方法的铁路列车能量管理策略仍无相关研究。

发明内容

本发明提供了一种基于深度强化学习的混动列车的能量管理方法及系统，用以解决混合动力铁路列车采用简单规则式模式进行能量管理，燃油经济性提升空间受限的技术问题。

为解决上述技术问题，本发明提出的技术方案为：

一种基于深度强化学习的混动列车的能量管理方法，包括以下步骤：

获取混动列车的列车运行速度、列车运行环境、列车运行能耗信息和列车运行动力总成信息的历史数据，作为源数据；

从源数据中提取速度、加速度以及电池电量作为输入，以能量管理策略作为输出，建立能量管理策略模型；

建立列车动力仿真模型，将能量管理策略模型输出的能量管理策略输入至列车动力仿真模型，获得列车动力仿真模型在能量管理策略下的仿真运行状态，根据仿真运行状态以及奖励函数获得对应的奖励参数；以奖励参数作为反馈数据对能量管理策略模型进行优化；

通过深度强化学习进行离线训练，迭代至收敛，得到优化后的能量管理策略模型；

以混动列车的实时的速度、加速度以及电池电量输入优化后的能量管理策略模型，获得优化的能量管理策略。

优选地，能量管理策略包括发动机的转速和转矩。