[发明专利]基于监督信号引导的深度强化学习自动驾驶汽车控制方法

说明书

本发明涉及一种基于监督信号引导的深度强化学习自动驾驶汽车控制方法，属于自动驾驶汽车领域。该方法包括：S1：获取周边车辆状态信息；S2：建立汽车运动学模型；S3：利用DDPG算法构建自动驾驶汽车控制模型对车辆的加速度和转向角进行控制，并优化Actor网络的损失函数，同时利用IDM算法和MOBIL算法构建加速度和转向角监督信号，对DDPG算法的训练进行引导和优化。本发明提升了DDPG算法的训练效率，实现了控制策略的实时性与最优性。

技术领域

本发明属于自动驾驶汽车领域，涉及一种基于监督信号引导的深度强化学习自动驾驶汽车控制方法。

背景技术

随着我国国民经济的快速增长，汽车产业也得到了高速发展，但与此同时也带来了诸如交通拥堵、交通事故以及环境污染等问题。由于存在驾驶员疲劳、情绪波动、操作不当等人为因素的影响，交通事故的预测和预防仍然存在较大困难，而汽车自动驾驶技术的出现和发展为这一问题提供了新的解决思路。

传统自动驾驶技术采用分层结构，各层职能清晰，算法可解释性强，但分层结构需要对多种传统算法进行大量手动调参，且应对复杂交通环境自适应能力弱，鲁棒性欠佳。AI技术与硬件性能的发展为自动驾驶提供了全新的思路，其中深度强化学习的出现催生出端到端的自动驾驶结构。深度强化学习将深度学习的表征能力和强化学习的试错机制完美结合，通过对智能体策略不断训练优化来获得更优的期望奖励，基于深度强化学习的端到端结构可以利用感知输入直接获得油门、刹车、车轮转角等控制动作，大大减少了各层算法构建的工作量和调参成本，同时提升了自动驾驶的泛化能力。

但由于深度强化学习的神经网络在未得到充分训练时将会产生大量无意义甚至危险的动作，训练效率较低，而传统算法可以为深度强化学习算法提供一定程度的引导，提升其训练速度。因此，亟需一种能够综合考虑环境自适应能力和训练时间成本的自动驾驶汽车控制方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于监督信号引导的深度强化学习自动驾驶汽车控制方法，利用深度强化学习算法-DDPG对自动驾驶汽车实现横纵向控制，并对Actor网络的损失函数进行了优化，同时采用传统算法IDM和MOBIL提供加速度和转向角监督信号进行引导，提升DDPG算法的训练效率。

为达到上述目的，本发明提供如下技术方案：

一种基于监督信号引导的深度强化学习自动驾驶汽车控制方法，具体包括以下步骤：

S1：获取周边车辆状态信息；

S2：建立汽车运动学模型；

S3：利用DDPG(Deep Deterministic Policy Gradient)算法构建自动驾驶汽车控制模型对车辆的加速度和转向角进行控制，并优化Actor网络的损失函数，同时利用IDM(Intelligent Driver Model)算法和MOBIL(Minimize Overall Braking Induced byLane Changes)算法构建加速度和转向角监督信号，对DDPG算法的训练进行引导和优化。其中，使用IDM算法和MOBIL算法计算当前状态下的加速度和转向角监督信号以及引入监督信号的损失函数对Actor网络的更新进行引导。

进一步，步骤S1中，获取的周边车辆状态信息，具体包括：周边车辆与本车的横纵向相对车速，以及周边车辆与本车的横纵向距离。

进一步，步骤S2中，搭建的汽车运动学模型为：