[发明专利]一种车辆列队跟踪控制方法、装置及计算机可读存储介质

说明书

本发明涉及一种车辆列队跟踪控制方法、装置及计算机可读存储介质，所述方法包括以下步骤：获取自车、前车及领航车的状态误差向量，根据所述自车、前车及领航车的状态误差向量建立DDPG的策略网络和价值网络；利用粒子群算法对DDPG的策略网络和价值网络进行训练，得到训练完备的DDPG网络；根据所述自车、前车、领航车的状态误差向量及训练完备的DDPG网络获取车辆动作值，根据所述车辆动作值确定决策控制器的输出控制量，根据所述输出控制量确定车辆的节气门开度。本发明提供的车辆列队跟踪控制方法，提高了车辆列队跟踪控制的实时性及稳定性。

技术领域

本发明涉及车辆队列控制技术领域，尤其涉及一种车辆列队跟踪控制方法、装置及计算机可读存储介质。

背景技术

智能网联汽车是当今汽车产业的重要发展方向，其对于汽车行业甚至是交通运输业有着深远的影响。随着人工智能算法的发展和传感器技术的不断突破，无人驾驶技术也在不断更迭发展，发展智能网联汽车不仅是解决交通安全、资源消耗、环境污染等问题的重要手段，也是构建智慧出行、建立智能交通系统的核心要素。

深度强化学习的出现为无人驾驶技术局限性的解决带来了可能，它有着强大的学习能力以及良好的鲁棒性，在多车协同驾驶的基础上引入基于深度强化学习的车辆决策控制方法，现有车辆列队跟踪控制的实时性及稳定性较差。

发明内容

有鉴于此，有必要提供一种车辆列队跟踪控制方法、装置及计算机可读存储介质，用以解决现有车辆列队跟踪控制的实时性及稳定性较差的问题。

本发明提供了一种车辆列队跟踪控制方法，包括以下步骤：

获取自车、前车及领航车的状态误差向量，根据所述自车、前车及领航车的状态误差向量建立DDPG的策略网络和价值网络；

利用粒子群算法对DDPG的策略网络和价值网络进行训练，得到训练完备的DDPG网络；

根据所述自车、前车、领航车的状态误差向量及训练完备的DDPG网络获取车辆动作值，根据所述车辆动作值确定决策控制器的输出控制量，根据所述输出控制量确定车辆的节气门开度。

进一步地，根据所述自车、前车及领航车的状态误差向量建立DDPG的策略网络，具体包括：在DDPG策略网络的输入层输入自车、前车及领航车的状态误差向量，所述DDPG策略网络包括若干个全连接层，所述DDPG策略网络的输出层输出车辆动作值。

进一步地，根据所述自车、前车及领航车的状态误差向量建立DDPG的价值网络，具体包括：在所述DDPG价值网络的输入层输入自车、前车及领航车的状态误差向量，经过第一个全连接层后，所述自车、前车、领航车的状态误差向量与所述车辆动作值共同输入至第二个全连接层，DDPG价值网络的输出层输出执行最优动作评判标准值。

进一步地，利用粒子群算法对DDPG的策略网络和价值网络进行训练，具体包括：

确定粒子群算法的种群数量、粒子维数，初始化粒子位置及速度，对粒子群每个粒子进行更新迭代，获取DDPG的最优连接权重，利用所述最优连接权重对DDPG的策略网络和价值网络进行训练。

进一步地，所述对粒子群每个粒子进行更新迭代，获取DDPG的最优连接权重，具体包括：改进惯性权重因子，根据改进的惯性因子，对粒子群每个粒子进行更新迭代，获取DDPG的最优连接权重，所述改进的惯性因子为

ω＝m+hlog_T(T-t-1)

其中，m为惯性权重因子ω的收敛值，h0，T为最大迭代次数，t为当前迭代次数。

进一步地，利用所述最优连接权重对DDPG的策略网络和价值网络进行训练，具体包括：价值网络采用基于执行最优动作评判标准值的确定性策略梯度进行梯度更新，策略网络根据损失函数进行梯度更新，并利用所述最优连接权重对DDPG的策略网络和价值网络进行训练。