[发明专利]一种基于多维奖励架构深度Q学习的自动驾驶决策方法

说明书

一种基于多维奖励架构深度Q学习的自动驾驶决策方法，属于自动驾驶技术领域。解决了现有驾驶决策方法存在多维度性能无法同时达到最优的问题。它采用视觉传感器和LIDAR传感器实时采集自动驾驶车辆所处的环境信息；获取图像信息和/或点云信息；将图像信息和/或点云信息输入至多奖励架构的深度Q值网络，获取安全性、效率和舒适性三个维度下的驾驶决策的奖励估值；对三个维度下的驾驶决策的奖励估值求和，获得总的驾驶策略奖励估值；采用ε‑贪心算法的方式对所述驾驶策略奖励估值进行解析，获得最优决策动作。本发明适用于自动驾车车辆控制策略生成。

技术领域

本发明属于自动驾驶技术领域。

背景技术

自动驾驶决策是自动驾驶整体技术环节中至关重要的一环，它以状态感知为输入，以特定交通场景下的交通决策为输出，服务后续的自动驾驶车辆运动规划及车辆控制，它的智能化水平，直接决定了自动驾驶自动化程度的高低与质量。

传统上，自动驾驶决策一般有两种实现方式，分别是基于规则的方法和基于学习的方法。基于规则的方法常常通过人为的枚举出各种可能的交通驾驶状态，然后给出状态下对应的驾驶决策，作为规则集存储起来，当自动驾驶车辆遇到规则集中某条驾驶状态时，触发响应的决策行为。

这种方式最大的好处是安全、可控，一切都在人为的设计和理解范围内，但最大的问题是枚举所有自动驾驶可能遇到的交通情况是不现实的，对于一些规则集中没有定义的状态，自动驾驶车辆将不知如何决策，也就是无法泛化的问题。

基于学习的方法正好可以克服基于规则方法难以泛化的问题，它可以通过一些情景的状态和动作样本，训练决策模型，从而在遇到未知情景时同样可以生成较好的决策动作。基于学习的方法中，比较受到重视和具有突出潜力的方法是基于强化学习的决策方式。强化学习允许自动驾驶车辆与环境不断互动，在自主探索的情况下，不断提升自身的决策水平。但自动驾驶决策是一种复杂的决策行为，它所考虑的决策目标维度很多，例如包括安全性、舒适性、高效性、经济性等，而以往的基于强化学习的自动驾驶决策方法通常采用一个累积收益估计函数对多个维度的综合收益进行估计。但是，由于多个维度的综合收益同时考虑并无法实现保证每个维度均达到最好的收益。

发明内容

本发明目的是为了解决现有驾驶决策方法存在多维度性能无法同时达到最优的问题，提出了一种基于多维奖励架构深度Q学习的自动驾驶决策方法。

本发明所述的一种基于多维奖励架构深度Q学习的自动驾驶决策方法，包括：

步骤一、采用视觉传感器和LIDAR传感器实时采集自动驾驶车辆所处的环境信息；获取图像信息和/或点云信息；

步骤二、将图像信息和/或点云信息输入至多奖励架构的深度Q值网络，获取安全性、效率和舒适性三个维度下的驾驶决策的奖励估值；

步骤三、对三个维度下的驾驶决策的奖励估值求和，获得总的驾驶策略奖励估值；

步骤四、采用ε-贪心算法的方式对所述驾驶策略奖励估值进行解析，获得最优决策动作。

进一步地，本发明中，步骤二中，获取安全性、效率和舒适性三个维度下的驾驶决策的奖励估值的具体方法为：

当采集的数据仅仅为图像信息时：

对图像信息进行正则化处理，将正则化处理后的数据依次输入至多奖励架构的深度Q值网络的卷积层和全连接层，获取自动驾驶的安全性、效率和舒适性三个维度下的驾驶决策的奖励估值；

当采集的数据仅仅为点云数据时：

将点云数据依次输入至循环神经网络(LSTM)和全连接层，获取自动驾驶的安全性、效率和舒适性三个维度下的驾驶决策的奖励估值；

当接收的数据同时包含点云数据和图像信息时：