[发明专利]城市轨道交通列车节能优化方法、装置、设备及存储介质

说明书

本发明公开了一种城市轨道交通列车节能优化方法、装置、设备及存储介质，方法包括S10、获取当前时刻所述列车运行环境下的状态信息和奖励值所述奖励值采用奖励函数计算得到，奖励函数包括所述DDPG模型中的第一奖励函数和所述列车行车过程中牵引力所做功与行车准点结合的第二奖励函数；S20、基于列车运行环境下状态信息和奖励值，选择运行动作下发至列车以使所述列车下一时刻按照运行动作行车；S30、将下一时刻确定为当前时刻，重复执行步骤S10～S20。本发明中列车每执行一次运行动作，环境都会立刻反馈一个状态信息和奖励值，指导之后的操纵序列，以进行行车策略的更新与优化，最终获得一个收敛的理想的列车行车策略，达到节约能耗的目的。

技术领域

本发明属于轨道交通技术领域，具体涉及一种城市轨道交通列车节能优化方法、装置、设备及存储介质。

背景技术

强化学习(Reinforcement Learning)这一名词源于行为心理学，表示生物为了趋利避害而更频繁实施对自己有利的行为策略。强化学习是一类特定的机器学习问题，在一个强化学习系统中，智能体可以观察环境，并根据观测做出行动，在行动后，智能体能够获得一个奖励，并通过奖励不断地改进行动决策。强化学习的过程就是智能体通过与环境的交互来获得最大化奖励的过程。

现今时代，以地铁为代表的城市轨道交通系统，以其准时快捷、安全舒适的特性，已经成为居民日常出行的重要选择。但由于轨道交通系统总运量较大，其能源消耗问题一直有待解决。根据现有的城市轨道系统能耗数据显示，占比最大的是列车的牵引能耗。基于此，可以通过调整城轨列车的牵引力，来达到降低整个轨道交通系统运行能耗的目的。

因此，关于城市轨道交通列车的节能优化研究具有重要的现实意义，如申请号为201910827467.6的发明专利申请公开的一种基于强化学习的城轨列车节能运行策略在线优化方法，该方法采用深度Q学习算法，结合多目标速度调整模型，对能耗模型进行求解，达到列车的节能运行策略。但该方法采用Q-Learning算法，由于Q网络的参数在频繁更新梯度的同时，又用于计算Q网络和策略网络的梯度，因此学习过程很不稳定。

发明内容

本发明旨在提供一种城市轨道交通列车节能优化方法、装置、设备及存储介质，以保证列车节能优化的稳定性和效率。

本发明通过以下技术手段实现解决上述技术问题的：

一方面，本发明实施例采用一种城市轨道交通列车节能优化方法，采用行车能耗DDPG模型进行行车策略选择，所述方法包括如下步骤：

S10、获取当前时刻所述列车运行环境下的状态信息和奖励值，所述奖励值采用奖励函数计算得到，所述奖励函数包括所述DDPG模型中的第一奖励函数和所述列车行车过程中牵引力所做功与行车准点结合的第二奖励函数；

S20、基于所述列车运行环境下状态信息和奖励值，选择运行动作下发至所述列车以使所述列车下一时刻按照所述运行动作行车；

S30、将下一时刻确定为当前时刻，重复执行步骤S10～S20。

通过采用行车能耗模型获取当前时刻列车运行环境下的状态信息和奖励值，其中生成奖励值得奖励函数包括DDPG模型中的第一奖励函数和列车行车过程中牵引力所做功与行车准点结合的第二奖励函数，模型基于列车运行环境下状态信息和奖励值，选择运行动作下发至列车的安全系统以使列车下一时刻按照运行动作行车，将下一时刻确定为当前时刻，利用行车能耗模型实时获取列车在行车过程中反馈的列车运行环境下的状态信息和奖励值。列车每执行一次运行动作，环境都会立刻反馈一个状态信息和奖励值，指导之后的操纵序列，以进行行车策略的更新与优化，最终获得一个收敛的理想的列车行车策略，达到节约能耗的目的。

进一步地，所述奖励函数的公式表示为：

R_β(s)＝ωR(s)+(1-ω)J(s)