[发明专利]一种燃料电池汽车多信号灯车速规划方法

权利要求书

1.一种燃料电池汽车多信号灯车速规划方法，其特征在于，包括以下步骤：

S1.构建包含个交通信号灯的深度强化学习DRL训练场景，建立燃料电池汽车FCV训练模型和交通信号灯模型；

步骤S1中所述的燃料电池汽车FCV训练模型采用不考虑动力传动部件的质点模型；交通信号灯模型包括信号灯位置模型和信号灯相位时序SPaT模型；

交通信号灯位置模型采用可变信号灯位置，如下所示：

其中，表示第个信号灯的位置；表示信号灯位置的容许变化量，表示理想信号灯间距；表示理想信号灯位置，如下所示：

交通信号灯SPaT模型使用和表示信号灯相位和时序信息，如下所示：

其中，和分别表示交通信号的红灯持续时间和绿灯持续时间；表示交通信号的状态，表示红灯，表示绿灯；表示与时间对应的信号周期内时间，如下所示：

一旦信号灯位于车辆后方，其SPaT信息会被重置并且锁定，如下所示：

S2.定义多信号灯训练DRL环境的状态空间、动作空间和奖励函数；

S3.在训练环境中对DRL网络进行训练，得到与对应的训练好的DRL车速规划模型DRL-L；

S4.将训练好的DRL-L模型应用到复杂的测试场景，得到全局经济车速；包括以下子步骤：

S41.根据测试场景中信号灯的分布情况按需引入虚拟信号灯，对测试场景进行重构；具体如下所示：

设测试场景信号灯数量为，按照训练场景中信号灯和路段一一对应的分布关系，得到测试场景中的理想信号灯数量；如果，则在信号灯缺失的路段上引入虚拟信号灯；

虚拟信号灯的信号状态一直保持绿灯，且虚拟信号灯的位置位于相应路段的中心；

步骤S42中所述的按照训练场景的尺度，在测试场景中滚动应用训练好的DRL-L模型，具体如下所示：

计算和的大小关系：

在测试场景中滚动前进，将训练好的DRL-L模型应用次；然后判断是否为0，如果，则在最后个信号灯前引入个虚拟信号灯，并再次应用训练好的DRL-L模型；

每一次模型应用后的环境终端状态应作为下一次应用时的环境初始状态；

S42.按照训练场景的尺度，在测试场景中滚动应用训练好的DRL-L模型；

S43.将DRL模型的输出组合到一起，得到完整的车速规划结果；

S5.建立FCV动力传动系统模型，在电量维持模式下利用动态规划算法DP计算测试场景下全局车速规划结果的氢耗，并比较不同对应的DRL-L模型性能。

2.根据权利要求1所述的一种燃料电池汽车多信号灯车速规划方法，其特征在于：步骤S2中所述的多信号灯训练DRL环境的状态空间、动作空间和奖励函数具体分别为：

状态空间包含FCV和交通信号灯的相关信息，如下所示：

其中，表示车速；表示信号灯位置与车辆位置的差值，的长度均为；

动作空间包含FCV的加速度，如下所示：

奖励函数，如下所示：

其中，与车辆预计是否闯红灯的行为有关；与车辆是否闯红灯有关；分别和车辆的速度、加速度和冲击度有关。

3.根据权利要求1所述的一种燃料电池汽车多信号灯车速规划方法，其特征在于：步骤S3中所述的在训练环境中对DRL网络进行训练，包括以下子步骤：

S31.初始化DRL网络、经验池和随机探索噪声；

S32.根据当前状态和随机探索噪声选择动作，并将相关经验添加到经验池；

S33.从经验池中选取长度为的小批量数据，进行DRL网络参数更新；

S34.重复进行S32和S33，直至达到收敛条件。

4.根据权利要求3所述的一种燃料电池汽车多信号灯车速规划方法，其特征在于：步骤S31中所述的DRL网络和随机探索噪声，具体如下所示：

DRL网络包含actor网络和critic网络以及相对应的目标网络和；DRL网络均包含1个输入层、2个隐藏层和1个输出层；其中，actor网络及其目标网络的输入是状态，输出是动作；critic网络及其目标网络的输入是状态和动作，输出是动作价值；

随机探索噪声选取Ornstein-Uhlenbeck噪声或者高斯噪声。