[发明专利]通过视觉追踪和图像重投影的自主驾驶的对象定位

说明书

本公开的各方面涉及验证特定类型的对象的位置。例如，可以接收(1010)车辆(100)的环境的多个图像(401A、401B、401C)。可以在多个图像中的图像中识别(1020)特定类型的关联对象(420、422)。可以使用多个不同的定位技术来针对对象确定(1030)多个估计位置(520、522、820A、820B、820C)。针对多个图像中的图像中的每个图像，确定多个估计位置中的每个估计位置的重投影误差。针对多个估计位置中的每个估计位置，基于重投影误差确定(1040)误差分数。可以基于确定的误差分数从多个估计位置中选择(1050)估计位置。可以使用(1060)该选择的位置以便以自主驾驶模式控制车辆。

相关申请的交叉引用

本申请要求于2019年10月10日提交的第16/598,162号美国专利申请的申请日的权益，其要求于2019年8月7日提交的第62/883,745号美国临时专利申请的权益，其公开内容通过引用结合于此。

背景技术

自主车辆，诸如不要求人类驾驶员的车辆，可以用于协助将乘客或物品从一个位置运输到另一个位置。这样的车辆可以以完全自主驾驶模式操作，其中，乘客可以提供某一初始输入，诸如目的地，并且车辆将自身操纵到该目的地。因此，这样的车辆可能很大程度上取决于能够在任何给定时间确定自主车辆的位置以及检测和识别车辆外部的对象(诸如其他车辆、停止灯、行人等)的系统。

发明内容

本公开的一个方面提供了一种用于控制具有自主驾驶模式的车辆的方法。该方法包括：由一个或多个处理器接收车辆的环境的多个图像；由一个或多个处理器识别所述多个图像中的图像中的特定类型的关联对象；由一个或多个处理器使用多个不同的定位技术确定对象的多个估计位置；由一个或多个处理器为多个估计位置中的每一个确定误差分数；由一个或多个处理器基于确定的误差分数从多个估计位置中选择估计位置；以及由一个或多个处理器基于选择的估计位置以自主驾驶模式控制车辆。

在一个示例中，特定类型的对象是停止标志。在另一个示例中，特定类型的对象是让行标志。在另一个示例中，该方法还包括使得基于车辆与用于以自主驾驶模式控制车辆的预存储的地图信息中的停止标志的位置之间的距离捕获所述多个图像。在另一个示例中，该方法还包括使得基于车辆的感知系统对特定类型的对象的检测捕获所述多个图像。在另一个示例中，该方法还包括识别所述多个图像中的图像中的第一图像中对应于特定类型的对象的块，其中，所述误差分数还基于所述块来确定。在另一个示例中，识别特定类型的关联对象包括：识别所述多个图像中的图像中的第一图像中对应于特定类型的对象的第一块；识别所述多个图像中的图像中的第二图像中对应于特定类型的对象的第二块；将第一块的中心投影到第二图像中；以及确定投影的中心是否在第二块的区域内。在另一个示例中，所述多个不同的定位技术包括基于特定类型的对象的预期大小的对象大小定位。在另一个示例中，所述多个不同的定位技术包括基于由车辆的LIDAR传感器生成的传感器数据的深度图定位。在另一个示例中，所述多个不同的定位技术包括基于道路图的定位，该基于道路图的定位包括将对应于所述多个图像中的图像中的块的中心的方向的射线投影到用于以自主驾驶模式控制车辆的预存储的地图信息中。在该示例中，所述基于道路图的定位包括识别地图信息中的、在投影的射线的阈值距离内的特定类型的对象。在另一个示例中，该方法还包括为所述多个图像中的图像中的每个图像确定多个估计位置中的每个估计位置的重投影误差，并且其中，确定所述误差分数还基于重投影误差。在另一个示例中，确定误差分数中的一个包括：识别所述多个图像中的图像中的第一图像中对应于特定类型的对象的块；将多个估计位置中的一个的估计位置投影到第一图像中；以及确定投影位置与块的区域之间的距离。在该示例中，确定所述距离包括确定投影位置的中心与块的区域的中心之间的距离。附加地或可替代地，将所述多个估计位置中的一个的估计位置投影到第一图像中是基于第一图像的位姿(pose)的。附加地或可替代地，距离是重投影误差中的一个。附加地或可替代地，确定误差分数中的一个包括对多个位置估计中的给定的一个的重投影误差进行平均。在另一示例中，选择所述选择的估计位置包括选择具有误差分数中的最低的一个误差分数的估计位置。