[发明专利]基于深度强化学习的混动列车的能量管理方法及系统

权利要求书

1.一种基于深度强化学习的混动列车的能量管理方法，其特征在于，包括以下步骤：

获取混动列车的列车运行速度、列车运行环境、列车运行能耗信息和列车运行动力总成信息的历史数据，作为源数据；

从源数据中提取速度、加速度、电池电量以及列车的位置作为输入，以能量管理策略作为输出，建立能量管理策略模型；所述列车位置包括：到站点距离以及列车在轨道上的位置；

建立列车动力仿真模型，将所述能量管理策略模型输出的能量管理策略输入至所述列车动力仿真模型，获得所述列车动力仿真模型在所述能量管理策略下的仿真运行状态，根据所述仿真运行状态以及奖励函数获得对应的奖励参数；以所述奖励参数作为反馈数据对所述能量管理策略模型进行优化；所述列车动力仿真模型包括：动力学模型、动力源模型以及电池模型，所述仿真运行状态包括列车运行能耗信息、发动机启停状态以及电池组的温度；所述动力源模型为按照列车的不同能量源的功率和连接结构建立的动力学分配模型；

所述动力学模型为列车纵向运动动力学模型，方程如下：

其中，M为列车质量，V为列车纵向速度，∑F_l为列车的总牵引力，∑f_l为列车的总阻力，γ为列车的回转质量系数；所述总阻力包括：摩擦阻力，运行阻力和空气阻力之和；所述运行阻力包括列车经过弯道时的弯道阻力以及列车经过隧道时的隧道阻力；

通过深度强化学习进行离线训练，迭代至收敛，得到优化后的能量管理策略模型；

以混动列车的实时的速度、加速度以及电池电量输入所述优化后的能量管理策略模型，获得优化的能量管理策略；所述能量管理策略包括发动机的转速和转矩。

2.根据权利要求1所述的基于深度强化学习的混动列车的能量管理方法，其特征在于，所述动力源模型为：

T_eng＝T_isg,T_mot＝T_axle

W_eng＝W_isg,W_mot＝W_axle

T_eng,T_isg,T_mot和T_axle分别为发动机、发电机、驱动电机和轴的转矩，而W_eng,W_isg,W_mot和W_axle分别为发动机、发电机、驱动电机和轴的转速；T_axle和W_axle通过列车运行速度和动力学模型仿真获得。

3.根据权利要求1至2中任一项所述的基于深度强化学习的混动列车的能量管理方法，其特征在于，所述深度强化学习采用包括表演者网络和评论家网络的深度神经网络结构进行训练；所述表演者网络用于根据输入的速度、加速度以及电池电量，拟合输出能量管理策略；所述评论家网络用于通过奖励参数优化能量管理策略的收益；

所述表演者网络和评论家网络均包括：输入层、N个全连接神经网络层、以及输出层。

4.根据权利要求3所述的基于深度强化学习的混动列车的能量管理方法，其特征在于，所述全连接神经网络层采用线性整流函数作为激活函数；所述表演者网络的输出层采用linear激活函数；所述评论家网络的输出层采用sigmoid激活函数。

5.根据权利要求3所述的基于深度强化学习的混动列车的能量管理方法，其特征在于，所述奖励函数为

其中，RMB(E+Fuel)为电耗和油耗的人民币价格，表示列车的瞬时能耗；i(engine)表示发动机在某一时刻是否启动，如果发动机启动i(engine)＝－1，如果发动机不启动i(engine)＝0；-temperature表示电池组的温度奖励函数；w₁,w₂和w₃是对应的加权参数。

6.一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至5中任一所述方法的步骤。