[发明专利]智能驾驶横向换道决策方法、系统和装置

权利要求书

1.一种智能驾驶横向换道决策方法，其特征在于，该方法包括以下步骤：

步骤S100，获取目标车辆及其相邻车辆的预设类别环境信息，并转化为环境表征；

步骤S200，基于所述环境表征，通过高层决策模型获取所述目标车辆的高层横向驾驶决策动作；所述高层决策模型为基于深度强化学习算法构建的基于深度Q神经网络的决策模型，该决策模型在训练过程中基于-贪心策略获取目标车辆的高层横向驾驶决策动作；

基于-贪心策略，其计算方法为：

其中，是当前的迭代次数，是开始减小的迭代次数，是降到0时的迭代次数；

步骤S300，基于所述环境信息、所述目标车辆的高层横向驾驶决策动作，通过基于规则的低层校正器校正所述高层横向驾驶决策动作，获取目标车辆最终的横向驾驶决策动作；所述低层校正器为基于规则的分类器。

2.根据权利要求1所述的智能驾驶横向换道决策方法，其特征在于，所述目标车辆及其相邻车辆的预设类别环境信息包括目标车辆及其相邻车辆的速度信息和位置信息。

3.根据权利要求1所述的智能驾驶横向换道决策方法，其特征在于，步骤S100中“转化为环境表征”，其方法为：

步骤S110，将目标车辆、其相邻车辆的速度标准化至设定区间；

步骤S120，基于目标车辆及其所在车道构建的网格阵列，其中为车道数、为每个车道所包含的纵向网格数；

步骤S130，依据预设的车辆在车道中所占的纵向网格数，以及目标车辆及其相邻车辆的位置、步骤S120中得到标准化后的速度，对所述网格阵列中各网格进行速度填充，获取矩阵形式的环境表征。

4.根据权利要求1所述的智能驾驶横向换道决策方法，其特征在于，所述高层决策模型为基于深度强化学习算法的奖赏函数、横向动作决策集合构建的基于深度Q神经网络的决策模型，其训练方法为：

按照比例分别从训练样本集的不同经验池中随机采样构成训练样本最小集；

基于训练样本最小集，计算损失函数值，采用随机梯度下降法优化迭代更新所述深度Q神经网络的参数，直至收敛；

目标网络的参数以设定的步数间隔利用所述深度Q神经网络的参数进行更新；所述目标网络基于深度Q神经网络构建，其结构与所述深度Q神经网络结构一致；

所述训练样本集为由t-1时刻状态表征、t-1时刻决策动作、t-1时刻奖赏值、t时刻状态表征构成的样本集合，其中，t为决策时刻。

5.根据权利要求4所述的智能驾驶横向换道决策方法，其特征在于，所述的横向动作决策集合，其决策动作包括：

动作：目标车辆保持在当前车道行驶；

动作：目标车辆向左换道；

动作：目标车辆向右换道。

6.根据权利要求4所述的智能驾驶横向换道决策方法，其特征在于，所述奖赏函数定义为：

高层横向驾驶决策动作在决策周期内导致碰撞，奖赏函数输出惩罚；

高层横向驾驶决策动作导致目标车辆驶入非法车道或者驶离路面，奖赏函数输出惩罚；

目标车辆前方没有障碍物阻挡，高层决策模型输出换道决策，奖赏函数输出惩罚；

当换道发生时，没有前述意外情况发生，奖赏函数输出；

在正常行驶的情况下，奖赏函数输出奖赏；

其中：表示自上次决策以来的一个决策周期内目标车辆的平均时速，为参考车速，为调节系数。

7.根据权利要求1所述的智能驾驶横向换道决策方法，其特征在于，所述“通过基于规则的低层校正器校正所述高层横向驾驶决策动作”的步骤为：

步骤S310，基于所述高层横向驾驶决策动作，获取目标车辆下一时间段行驶轨迹作为第一行驶轨迹；

步骤S320，基于所述高层横向驾驶决策动作，获取相邻车辆下一时间段行驶轨迹作为第二行驶轨迹；

步骤S330，基于第一行驶轨迹和第二行驶轨迹间的最短距离，通过低层校正器根据预设的规则获取所述高层横向驾驶决策动作的分类结果。