[发明专利]一种基于深度强化学习的车辆低速跟驰决策方法

说明书

本发明公开了一种基于深度强化学习的车辆低速跟驰决策方法，所述方法通过以下方式实现：首先通过车联网实时接收前方车辆和后方车辆的位置、速度、加速度信息，作为环境状态，对无人车的当前状态和行为进行表达，然后构建基于Actor‑Critic框架的深度强化学习结构，最后Actor根据当前环境状态选择合适动作，并通过Critic给出的评价不断进行训练学习，从而获取最优控制策略，使得无人车能够与前方车辆以及后方车辆保持一定的安全距离，在城市拥堵工况下实现车辆低速自动跟踪前车行驶。本发明提出的基于深度强化学习的车辆低速跟驰决策方法不仅提高了驾驶的舒适性，而且保证了交通的安全性，更提高了拥堵车道的畅通率。

技术领域

本发明涉及汽车自动驾驶领域，特别是涉及一种基于深度强化学习的车辆低速跟驰决策方法。

背景技术

随着城市和交通的发展，很多城市早晚高峰主要路段经常出现交通拥堵现象，在车辆拥堵路段时人们的驾驶行为主要是走走停停的状态，长时间在拥堵路段驾驶会造成驾驶员心情烦躁和驾驶疲劳，从而出现疏忽或过激驾驶行为，导致擦碰、追尾等交通事故，进一步加重城市道路交通拥堵，给人们驾车出行带来很大不便。

现有的基于高级辅助驾驶技术的车辆跟驰技术主要是根据前后车距离和基于车辆动力学模型构建车辆跟驰决策模型，提醒驾驶员实施加速或减速驾驶行为。这种决策模型只能定性地提醒驾驶员是加速还是减速驾驶行为，对加速和减速的程度还是需要驾驶员自身判断，同时这种方式还不能够将驾驶员从高频度重复的驾驶操作中解放出来。自动驾驶技术能实现车辆的无人驾驶，解放驾驶员的劳动强度，但目前基于自动驾驶的车辆跟驰决策还不能拟人化地重现人类驾驶员的跟驰过程。因此，研究基于自动驾驶的拟人化的车辆低速跟驰决策方法能真正将驾驶员在拥堵路况下的操作解放出来，并提高驾驶舒适性和交通安全性。

车辆跟驰模型的发展已有60多年，并出现了很多知名的模型，如GM模型，安全距离模型，线性模型，Wiedemann模型，模糊推理模型，元胞自动机模型等。

GM模型是典型的“刺激-反应”模型。该模型的刺激来源由随时间变化的和灵敏度常数组成，灵敏度常数的评估数据由英国Mersey隧道的实验得到。该模型常被用于宏观交通流仿真中。

安全距离模型也称为防撞模型，根据前导车和后随车的实时速度来计算安全跟驰距离，后车驾驶员的行为是保持安全跟驰距离。该模型在交通仿真软件中有广泛的应用，如英国的SISTM，美国的VARSIM。但实际驾驶中，驾驶员很难按照安全距离行驶。

线性模型是一种考虑驾驶员行为决策过程的模型，包括自适应加速度随前车行驶状态的变化，并考虑驾驶员反应时间对决策的影响，通过期望时距公式来实现。该模型随着速度和车辆的不同而变化，很难应用到实际中。

Wiedemann模型是一种心理-生理模型。基于不同驾驶员可能对同一个刺激产生不同的反应，该模型定义了四种驾驶状态下的人的感知和反应：自由驾驶、接近驾驶、跟随模式和制动模式。这种模型受个体因素影响很大，很难校验。

模糊推理模型的输入量是前后车的相对车距和相对车速，输出为后车的加减速度，推理主要由模糊推理构成，该模型减小了前后车距达到安全车距时的振荡及相对速度的振荡。

元胞自动机模型是把交通道路描述为大小相同的元胞网格，使用一些规则来控制车辆在元胞之间的移动。元胞的运动在空间和时间上是离散的，这种方法主要用于交通仿真中，与实际环境中的驾驶有较大差距。

专利[CN 107145936]一种基于强化学习的车辆跟驰模型建立方法，主要是通过创建Q值网络，根据车辆执行动作计算长期回报，更新Q值网络权重，不断迭代到最大回合数。通过不断对环境进行探索和对已经学到的经验进行利用，最终得到一个无须驾驶数据驱动的无人汽车跟驰模型。

发明内容