[发明专利]一种基于多维奖励架构深度Q学习的自动驾驶决策方法

权利要求书

1.一种基于多维奖励架构深度Q学习的自动驾驶决策方法，其特征在于，包括：

步骤一、采用视觉传感器和LIDAR传感器实时采集自动驾驶车辆所处的环境信息；获取图像信息和/或点云信息；

步骤二、将图像信息和/或点云信息输入至多奖励架构的深度Q值网络，获取安全性、效率和舒适性三个维度下的驾驶决策的奖励估值；

其中，多奖励架构的深度Q值网络包括三个奖励函数，分别为：安全性奖励函数、效率奖励函数和舒适性奖励函数；

安全性奖励函数为：

其中，r_s为预先设定的安全性奖励常数值，取值为正；R_s(s,a)是在当前环境s下采用动作a获得的安全性奖励函数值；

效率奖励奖励函数为：

其中，r_o为预先设定的效率性奖励常数值，其取值为正；R_o(s,a)是在当前环境s下采用动作a获得的效率奖励函数值；

舒适性奖励函数为：

其中，r_l为预先设定的舒适性奖励常数值，其取值为正；R_l(s,a)是在当前环境s下采用动作a获得的舒适性奖励函数值；

步骤三、对三个维度下的驾驶决策的奖励估值求和，获得总的驾驶策略奖励估值；

步骤四、采用ε-贪心算法对所述驾驶策略奖励估值进行解析，获得最优决策动作。

2.根据权利要求1所述的一种基于多维奖励架构深度Q学习的自动驾驶决策方法，其特征在于，步骤二中，获取安全性、效率和舒适性三个维度下的驾驶决策的奖励估值的具体方法为：

当采集的数据仅仅为图像信息时：

对图像信息进行正则化处理，将正则化处理后的数据依次输入至多奖励架构的深度Q值网络的卷积层和全连接层，获取自动驾驶的安全性、效率和舒适性三个维度下的驾驶决策的奖励估值；

当采集的数据仅仅为点云数据时：

将点云数据依次输入至多奖励架构的深度Q值网络的循环神经网络和全连接层，获取自动驾驶的安全性、效率和舒适性三个维度下的驾驶决策的奖励估值；

当接收的数据同时包含点云数据和图像信息时：

将点云数据输入至多奖励架构的深度Q值网络的循环神经网络，对图像信息进行正则化处理后输入至多奖励架构的深度Q值网络的卷积层，将循环神经网络的输出和卷积层的输出进行拼接后输入至全连接层，获取自动驾驶的安全性、效率和舒适性三个维度下的驾驶决策的奖励估值。

3.根据权利要求1或2所述的一种基于多维奖励架构深度Q学习的自动驾驶决策方法，其特征在于，步骤二中所述的驾驶策略为：加速、减速、向右转、向左转和不做动作五个策略动作。

4.根据权利要求1所述的一种基于多维奖励架构深度Q学习的自动驾驶决策方法，其特征在于，步骤一中的多奖励架构的深度Q值网络是经过训练的，训练的具体方法为：

步骤S1、选定输入的环境状态样本S，输入至待训练的多奖励架构的深度Q值网络，获取全性、效率和舒适性三个维度下的驾驶决策的奖励估值；

步骤S2、计算三个维度下的驾驶决策的奖励估值的和Q_RAM，获得任意一个动作a的Q_RAM值，获取深度网络待训练的参数集合；

步骤S3、根据深度网络待训练的参数集合，确定损失目标函数，并对所述目标函数最小化，获得下一步的驾驶策略；

步骤S4、执行步骤S3所述的驾驶策略，对布置后S1的环境状态样本S更新，返回执行步骤S1，直至目标函数最小化后的值收敛。