[发明专利]自主车辆策略的生成

权利要求书

1.一种自主车辆策略生成系统，其包括：

状态输入生成器，所述状态输入生成器生成与正在经历训练的自主车辆相关联的一组属性；

交通模拟器，所述交通模拟器模拟出模拟环境，所述模拟环境包括所述自主车辆、与多条车道相关联的道路、以及所述模拟环境内的另一车辆；

Q-掩蔽器，所述Q-掩蔽器确定针对某个时间间隔要应用于所述自主车辆的一组可能动作中的一个子组的掩蔽；以及

动作生成器，所述动作生成器从所述一组可能动作中探索剩余的一组动作，并且基于所述剩余的一组动作和与所述自主车辆相关联的所述一组属性确定针对所述时间间隔的自主车辆策略，并且所述动作生成器针对一个或多个附加的时间间隔确定所述自主车辆策略，直到所述自主车辆达到终止状态为止，

其中所述剩余的一组动作排除了所述被掩蔽子组的动作，

其中所述动作生成器将与所述一个或多个附加的时间间隔相关联的探索到的一组或多组动作存储为对应的一条或多条轨迹线。

2.根据权利要求1所述的自主车辆策略生成系统，其中所述一组属性包括与所述自主车辆相关联的当前速度、与所述自主车辆相关联的车道定位，以及从所述自主车辆到目标的距离，其中所述目标是期望的目的地。

3.根据权利要求1所述的自主车辆策略生成系统，其中针对所述自主车辆的所述一组可能动作包括在所述时间间隔期间自主驾驶策划下列各项：保持与所述自主车辆相关联的当前速度、加速、减速、执行变换到右侧车道或执行变换到左侧车道。

4.根据权利要求1所述的自主车辆策略生成系统，其中所述Q-掩蔽器基于下列各项确定要应用于所述子组的动作的所述掩蔽：指示所述自主车辆与所述模拟环境之间或者所述自主车辆与所述模拟环境内的所述另一车辆之间的预定义的容许交互作用的先验知识；指示容许的驾驶策划的交通规则；或者与所述自主车辆相关联的能力，所述能力指示与所述自主车辆相关联的在物理上可能的驾驶策划。

5.根据权利要求4所述的自主车辆策略生成系统，其中所述Q-掩蔽器基于所述先验知识确定所述被掩蔽子组的动作，以便包括：

当所述自主车辆定位在所述道路的最右侧车道上时自主驾驶策划执行变换到右侧车道；以及

当所述自主车辆定位在所述道路的最左侧车道上时自主驾驶策划执行变换到左侧车道。

6.根据权利要求4所述的自主车辆策略生成系统，其中所述Q-掩蔽器基于所述先验知识确定所述被掩蔽子组的动作，以便包括：

在所述自主车辆与所述另一车辆两者定位在同一车道中的情况下，当所述自主车辆定位在所述另一车辆后方的第一阈值距离处时自主驾驶策划加速；以及

在所述自主车辆与所述另一车辆两者定位在同一车道中的情况下，当所述自主车辆定位在所述另一车辆前方的第二阈值距离处时自主驾驶策划减速。

7.根据权利要求4所述的自主车辆策略生成系统，其中所述Q-掩蔽器基于所述先验知识确定所述被掩蔽子组的动作，以便包括：

当所述自主车辆定位在所述另一车辆的右侧并且在所述另一车辆的车道变换阈值距离内时自主驾驶策划变换到左侧车道；以及

当所述自主车辆定位在所述另一车辆的左侧并且在所述另一车辆的车道变换阈值距离内时自主驾驶策划变换到右侧车道。

8.根据权利要求4所述的自主车辆策略生成系统，其中所述Q-掩蔽器基于所述先验知识确定所述被掩蔽子组的动作，以便包括：在所述自主车辆与所述另一车辆之间的碰撞时间(TTC)估计值低于TTC阈值时，与预期会缩短TTC估计值相关联的任何驾驶策划。

9.根据权利要求4所述的自主车辆策略生成系统，其中所述Q-掩蔽器基于所述交通规则确定所述被掩蔽子组的动作，以便包括：

当与所述自主车辆相关联的当前速度大于与所述道路相关联的速度限值时加速；以及

当与所述自主车辆相关联的当前速度小于与所述道路相关联的最低速度限值时减速。