[发明专利]自主车辆策略的生成

说明书

本申请涉及自主车辆策略的生成。一种自主车辆策略生成系统可以包括：状态输入生成器，所述状态输入生成器生成与正在经历训练的自主车辆相关联的一组属性；交通模拟器，所述交通模拟器模拟出模拟环境，所述模拟环境包括所述自主车辆、与多条车道相关联的道路、以及所述模拟环境内的另一车辆；Q‑掩蔽器，所述Q‑掩蔽器确定针对某个时间间隔要应用于所述自主车辆的一组可能动作中的一个子组的掩蔽；以及动作生成器，所述动作生成器从所述一组可能动作中探索剩余的一组动作，并且基于所述剩余的一组动作和与所述自主车辆相关联的所述一组属性确定针对所述时间间隔的自主车辆策略。

相关申请的交叉引用

本申请要求2017年10月12日提交的名称为“TACTICAL DECISION MAKING FORLANE CHANGING WITH DEEP REINFORCEMENT LEARNING”的美国临时专利申请序列号62/571717(代理人案卷号HRA-43303)的权益；上面提到的一个或多个申请的全部内容以引用方式并入本文。

背景技术

近年来，自动驾驶汽车得到人们越来越多的关注。但自主驾驶车辆面临许多决策，诸如何时变换车道、如何变换车道，等等。而这些决策时常在多车道或多主体的背景或环境中作出。在任何情况下，自动驾驶车辆都可以被要求以安全的方式有效地执行对车道变换的策划。这在以多车道高速公路为背景或环境的情况下可能是有用的，诸如在存在高速交通的情况下。由于自主车辆与其他车辆之间存在交互作用，连同许多其他因素(诸如天气或道路状况)的影响，所以确定或生成这些驾驶策划或车道变换决策可能很复杂且富有挑战性。

发明内容

根据一个方面，自主车辆策略生成系统可以包括状态输入生成器、交通模拟器、Q-掩蔽器和动作生成器。状态输入生成器可以生成与正在经历训练的自主车辆相关联的一组属性。交通模拟器可以模拟出模拟环境，该模拟环境包括自主车辆、与多条车道相关联的道路、以及该模拟环境内的另一车辆。Q-掩蔽器可以确定针对某个时间间隔要应用于该自主车辆的一组可能动作中的一个子组的掩蔽。动作生成器可以从该组可能动作中探索剩余的一组动作，并且基于剩余的这组动作和与该自主车辆相关联的这组属性确定针对该时间间隔的自主车辆策略。剩余的这组动作排除了被掩蔽子组的动作。

这组属性可以包括与该自主车辆相关联的当前速度、与该自主车辆相关联的车道定位，以及从该自主车辆到目标的距离。目标可以是期望的目的地。针对该自主车辆的该组可能动作可以包括在该时间间隔期间自主驾驶策划下列各项：保持与该自主车辆相关联的当前速度、加速、减速、执行变换到右侧车道或执行变换到左侧车道。

Q-掩蔽器可以基于下列各项确定要应用于该子组的动作的掩蔽：指示该自主车辆与模拟环境之间或者该自主车辆与模拟环境内的另一车辆之间的预定义的容许交互作用的先验知识；指示容许的驾驶策划的交通规则；或者与该自主车辆相关联的能力，该能力指示与该自主车辆相关联的在物理上可能的驾驶策划。

Q-掩蔽器可以基于先验知识确定被掩蔽子组的动作，以便包括：当该自主车辆定位在道路的最右侧车道上时自主驾驶策划执行变换到右侧车道，以及当该自主车辆定位在道路的最左侧车道上时自主驾驶策划执行变换到左侧车道。Q-掩蔽器可以基于先验知识确定被掩蔽子组的动作，以便包括：在该自主车辆与另一车辆两者定位在同一车道中的情况下，当该自主车辆定位在该另一车辆后方的第一阈值距离处时自主驾驶策划加速；以及在该自主车辆与另一车辆两者定位在同一车道中的情况下，当该自主车辆定位在该另一车辆前方的第二阈值距离处时自主驾驶策划减速。

Q-掩蔽器可以基于先验知识确定被掩蔽子组的动作，以便包括：当该自主车辆定位在另一车辆的右侧并且在该另一车辆的车道变换阈值距离内时自主驾驶策划变换到左侧车道，以及当该自主车辆定位在另一车辆的左侧并且在该另一车辆的车道变换阈值距离内时自主驾驶策划变换到右侧车道。Q-掩蔽器可以基于先验知识确定被掩蔽子组的动作，以便包括：在该自主车辆与另一车辆之间的碰撞时间(TTC)估计值低于TTC阈值时，与预期会缩短该TTC估计值相关联的任何驾驶策划。