[发明专利]一种燃料电池汽车多信号灯车速规划方法

说明书

本发明公开了一种燃料电池汽车多信号灯车速规划方法，构建包含个交通信号灯的深度强化学习DRL训练场景，建立燃料电池汽车FCV训练模型和交通信号灯模型；定义多信号灯训练DRL环境的状态空间、动作空间和奖励函数；在训练环境中对DRL网络进行训练，得到与对应的训练好的DRL车速规划模型DRL‑L；将训练好的DRL‑L模型应用到复杂的测试场景，得到全局经济车速；建立FCV动力传动系统模型，在电量维持模式下利用动态规划算法DP计算测试场景下全局车速规划结果的氢耗，并比较不同对应的DRL‑L模型性能。本发明对环境具有很强的自适应能力，具有更低的氢耗和更好的舒适性。

技术领域

本发明涉及经济车速规划领域，特别是涉及一种燃料电池汽车多信号灯车速规划方法。

背景技术

通过共享的实时交通信息和对复杂环境的感知，智能网联汽车具有超出人类驾驶员的全局规划和决策能力。利用V2X通讯技术，网联式燃料电池汽车可以获取周边交通基础设施的未来信息和其他交通参与者的实时信息，从而实现经济车速规划。

在交通信号灯环境下，现有的经济车速规划方法主要分为基于优化的方法和基于强化学习的方法。基于优化的方法能够获得最优或者近似最优的全局解，但是计算代价往往很大；基于强化学习尤其是深度强化学习的方法表现出很好的实时性和良好的性能，但是当前的基于深度强化学习的车速规划方法在训练过程中只考虑车辆前方单个交通信号灯的信息，忽略了全局最优性。相比之下，基于前方多个交通信号灯的信息进行决策具有更大的节能潜力。

发明内容

本发明的目的在于弥补现有规划方法的不足，提出一种燃料电池汽车多信号灯车速规划方法，该方法对环境具有很强的自适应能力，并且相比于单信号灯训练深度强化学习车速规划方法表现出更低的氢耗和更好的舒适性。

为实现上述目的，本发明采用以下技术方案：一种燃料电池汽车多信号灯车速规划方法，包括以下步骤：

S1.构建包含个交通信号灯的深度强化学习DRL训练场景，建立燃料电池汽车FCV训练模型和交通信号灯模型；

S2.定义多信号灯训练DRL环境的状态空间、动作空间和奖励函数；

S3.在训练环境中对DRL网络进行训练，得到与对应的训练好的DRL车速规划模型DRL-L；

S4.将训练好的DRL-L模型应用到复杂的测试场景，得到全局经济车速；

S5.建立FCV动力传动系统模型，在电量维持模式下利用动态规划算法DP计算测试场景下全局车速规划结果的氢耗，并比较不同对应的DRL-L模型性能。

进一步地，步骤S1中所述的燃料电池汽车FCV训练模型采用不考虑动力传动部件的质点模型；交通信号灯模型包括信号灯位置模型和信号灯相位时序SPaT模型；

交通信号灯位置模型采用可变信号灯位置，如下所示：

其中，表示第个信号灯的位置；表示信号灯位置的容许变化量，表示理想信号灯间距；表示理想信号灯位置，如下所示：

交通信号灯SPaT模型使用和表示信号灯相位和时序信息，如下所示：

其中，和分别表示交通信号的红灯持续时间和绿灯持续时间；表示交通信号的状态，表示红灯，表示绿灯；表示与时间对应的信号周期内时间，如下所示：

一旦信号灯位于车辆后方，其SPaT信息会被重置并且锁定，如下所示：

。

进一步地，步骤S2中所述的多信号灯训练DRL环境的状态空间、动作空间和奖励函数具体分别为：