[发明专利]使用分层选项马尔可夫决策过程的交叉路口自主驾驶决策

权利要求书

1.一种用于在自主车辆(AV)中执行交叉路口处的操纵的处理器实现的方法，所述方法包括：

由处理器根据车辆传感器数据和道路几何数据，确定多个距离测量，每个距离测量由从所述自主车辆上的起点延伸到终点的独特射线确定，所述终点由所述射线的路径中的障碍物或预定最大距离终止；

所述处理器从车辆传感器数据中确定障碍物速度数据，其中，所述障碍物速度数据包括被确定为在所述射线的所述终点处的障碍物的速度；

由所述处理器确定车辆状态数据，其中所述车辆状态数据包括所述自主车辆的速度、到停止线的距离、到交叉路口的中点的距离以及到目标的距离；

由所述处理器基于所述多个距离测量、所述障碍物速度数据以及所述车辆状态数据来确定离散行为动作的集合以及与各离散行为动作关联的独特轨迹控制动作；

由所述处理器选择要执行的来自所述离散行为动作的集合的离散行为动作以及所述关联的独特轨迹控制动作；以及

由所述处理器将消息传送到车辆控制器，所述车辆控制器传递与所述离散行为动作关联的所述选择的独特轨迹控制动作。

2.根据权利要求1所述的方法，其中，所述确定多个距离测量和所述确定障碍物速度数据包括：

围绕所述自主车辆构造计算机生成的虚拟网格，所述虚拟网格的中心位于所述自主车辆的中前部；

将所述虚拟网格分成多个子网格；

当障碍物或移动对象存在于由子网格表示的区域中时，向所述子网格分派占用特性；

借助所述虚拟网格，跟踪以覆盖所述自主车辆的前部的多个独特角度从所述自主车辆的所述中前部发射的多个线性射线，其中，每个射线在所述自主车辆的所述中前部开始，并且在它到达指示障碍物的占用子网格或预定距离时终止；以及

对于各射线，确定所述射线的所述距离和在所述射线的所述终点处的障碍物的所述速度。

3.根据权利要求1所述的方法，其中，所述确定所述离散行为动作的集合以及与各离散行为动作关联的所述独特轨迹控制动作包括：

生成状态向量，所述状态向量包括所述车辆状态数据、各射线的所述距离、以及在所述射线的所述终点处的障碍物的所述速度。

4.根据权利要求3所述的方法，其中，所述确定所述离散行为动作的集合以及与各离散行为动作关联的所述独特轨迹控制动作还包括：

将所述状态向量作为输入应用于神经网络，所述神经网络被配置为计算离散行为动作的集合以及与各离散行为动作关联的所述独特轨迹控制动作。

5.根据权利要求4所述的方法，其中，所述神经网络包括：

分层选项网络，被配置为产生两个分层选项候选，所述两个分层选项候选各包括信任选项候选和不信任选项候选；

动作网络，被配置为产生用于加速和减速的更低级连续动作选择；以及

Q值网络，被配置为产生与用于加速和减速的所述更低级连续动作选择对应的Q值。

6.根据权利要求4所述的方法，其中，所述神经网络包括：

分层选项网络，其中，输入状态向量s_t跟随有三个完全连接(FC)层，以生成与两个分层选项候选对应的Q值矩阵O_t；

动作网络，其中，所述输入状态向量s_t跟随有四个完全连接层，以产生连续动作向量a_t；以及

Q值网络，接收跟随有完全连接层的所述输入状态向量s_t与跟随有一个完全连接层的所述连续动作向量a_t的并置的输出，其中，所述Q值网络被配置为借助四个完全连接层产生与所述动作向量a_t对应的Q值向量Q_t。

7.根据权利要求6所述的方法，其中，所述选择要执行的离散行为动作和独特轨迹控制动作包括：

将动作的选择建模为马尔可夫决策过程(MDP)；

使用强化学习经由所述神经网络学习最优策略；以及

实施所述最优策略，以完成所述交叉路口处的所述操纵。