[发明专利]一种基于强化学习的网联车辆信号灯控路口经济通行方法

说明书

本发明涉及一种基于强化学习的网联车辆信号灯控路口经济通行方法，包括以下步骤：获取车辆以及路侧环境状态信息；搭建路口通行生态驾驶模型：包括搭建整车纵向动力学模型和搭建路侧信号灯状态交通环境模型；利用深度确定性策略梯度算法构建纯电动网联汽车路口通行生态驾驶策略，求解包含整车电池能耗最小通行时间最短的多目标优化问题，得出最优通行速度谱，从而得出通过路口的最优能耗水平。本发明将深度强化学习算法应用于实际车辆路口通行控制中，针对信号灯剩余时间动态变化场景具有良好的泛化性能与优化效果。

技术领域

本发明涉及智慧交通智能网联车辆控制技术领域，尤其是一种基于强化学习的网联车辆信号灯控路口经济通行方法。

背景技术

城市化快速发展为道路交通环境带来了极大的考验，日趋拥挤的信号灯交通路口产生了大量不必要的能耗。经济性路口进出一直以来是城市交通路口通行决策的主要研究热点。从车辆角度出发，智能网联汽车的出现为提高通行效率、缓解城市灯控路口停车等待现象提供了新的解决方案。智能电动汽车除了采用新能源驱动，基于5G/LTE通信网络低延迟与云端服务实时交互，提前获取视野外道路信息，给予驾驶员精准有利通行条件，有效降低事故发生率的同时也可有效降低车辆的能量消耗，减少对环境的污染。

从控制角度出发，生态驾驶策略可以分为以下两类，一是基于规则的方法，二是基于优化的方法。基于规则的方法采用模糊逻辑控制策略，针对信号灯动态调节控制车速，该算法计算简单直观，所以是工程中最为常见的控制策略。但是该方法依赖经验的总结，并不能从理论上进行机理分析，控制效率差，鲁棒性差等问题，因此在路口处的节能表现有限。基于优化理论的控制策略一般可分为解析优化法、数值计算优化法、瞬时优化策略、基于简化模型的优化策略与基于预测方法的控制策略等。基于动态规划算法是典型的解析优化法，利用动态规划算法研究了燃油车与电动车的不同节能特性，求解混合动力汽车的最优控制律，获得了出色的燃油经济性。但是该策略对于状态空间较大、且多维复杂动态场景时，这些算法无法实时计算出最佳策略。

深度确定性策略梯度算法(deep deterministic policy gradient，简称DDPG)，是一种具有Actor-Critic架构的用于解决连续控制型问题的一种算法，Actor-Critic架构简称AC，设计有四个网络，其中Actor网络包含动作估计网络和动作目标网络，而Critic网络包含价值估计网络与价值目标网络。Actor-Critic架构可直接输出动作信息，具有强大的寻优能力，在生态驾驶策略方便的应用研究尚未成熟。

发明内容

针对现有技术的缺陷，本发明提供了一种基于强化学习的网联车辆信号灯控路口经济通行方法，实现网联车辆路口通行控制决策的实时性优化。

本发明采用的技术方案如下：

一种基于强化学习的网联车辆信号灯控路口经济通行方法，包括以下步骤：

获取车辆以及路侧环境状态信息；

搭建路口通行生态驾驶模型：包括搭建整车纵向动力学模型和搭建路侧信号灯状态交通环境模型；

利用深度确定性策略梯度算法构建纯电动网联汽车路口通行生态驾驶策略，求解包含整车电池能耗最小通行时间最短的多目标优化问题，得出最优通行速度谱。

其进一步技术方案为：

所述利用深度确定性策略梯度算法构建纯电动网联汽车路口通行生态驾驶策略，求解包含整车电池能耗与通行效率多目标优化问题，包括：

S1：根据所述获取车辆以及路侧环境状态信息、以及所述路口通行生态驾驶模型，确定当前驾驶环境状态S_t，下标t代表t时刻；