[发明专利]用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统

权利要求书

1.一种在计算机上实现的方法，该计算机具有至少一个处理器、存储器以及通信平台，该方法用于处理自动驾驶车辆中的图像数据，其包括：

连续不断地接收由配置在车辆上的一个以上类型的传感器获取的传感器数据，其中，传感器数据提供关于车辆周围情况的不同类型的信息；

由所述一个以上类型传感器中第一类型的第一传感器在特定时间所获取的第一数据集检测物体，其中，第一数据集以第一观点提供关于车辆周围情况的第一类型的信息；

基于检测到的物体以及第二数据集，基于以物体为中心的立体视觉，推算物体的深度信息，其中，第二数据集经由所述一个以上类型传感器中第一类型的第二传感器在该特定时间获取，且以第二观点提供第一类型的信息；

获得由所述一个以上类型传感器中第二类型的第三传感器在该特定时间所获取的第三数据集，第三数据集提供关于车辆周围情况的第二类型的信息；以及

基于第三数据集，增强物体的深度信息，以生成物体的增强的深度信息。

2.权利要求1的方法，其中，基于以物体为中心的立体视觉来推算深度信息的步骤包括：

获得所述一个以上类型传感器中第一类型的第一与第二传感器之间的视差；

根据视差，将来自第一数据集的物体翘波到第二数据集，以得到第二数据集中的推算的物体；以及

基于物体以及第二数据集中的推算的物体，推算物体的深度信息。

3.权利要求1的方法，其中，深度信息经由以下的至少一种对物体进行描绘：

一个以上的量度，其各自表示物体与车辆之间的距离；

具有与物体上的不同点相关联的不同深度量度的深度图，各个深度量度表示物体上的对应点与车辆之间的距离；以及

它们的组合。

4.权利要求3的方法，其中，所述一个以上的量度包括以下的至少一种：

第一量度，表示车辆与物体上最接近车辆的点之间的距离；

第二量度，表示车辆与物体之间的平均距离；

第三量度，表示物体的不同点上关于车辆的距离量度的变动；以及

它们的组合。

5.权利要求1的方法，其中，

所述一个以上类型传感器中第二类型的第三传感器对应于深度传感器；且

由第三传感器获取的第三数据集是所获取的深度图。

6.权利要求1的方法，其中，第三传感器是激光雷达传感器。

7.权利要求1的方法，进一步包括将物体用对应于该特定时间的时间戳以及增强的深度信息归档。

8.一种记录有数据的机器可读的非暂时性介质，该数据用于处理自动驾驶车辆中的图像数据，其中，该数据在被机器读取时，使得机器执行：

连续不断地接收由配置在车辆上的一个以上类型的传感器获取的传感器数据，其中，传感器数据提供关于车辆周围情况的不同类型的信息；

由所述一个以上类型传感器中第一类型的第一传感器在特定时间所获取的第一数据集检测物体，其中，第一数据集以第一观点提供关于车辆周围情况的第一类型的信息；

基于检测到的物体以及第二数据集，基于以物体为中心的立体视觉，推算物体的深度信息，其中，第二数据集经由所述一个以上类型传感器中第一类型的第二传感器在该特定时间获取，且以第二观点提供第一类型的信息；

获得由所述一个以上类型传感器中第二类型的第三传感器在该特定时间所获取的第三数据集，第三数据集提供关于车辆周围情况的第二类型的信息；以及

基于第三数据集，增强物体的深度信息，以生成物体的增强的深度信息。

9.权利要求8的介质，其中，基于以物体为中心的立体视觉来推算深度信息的步骤包括：

获得所述一个以上类型传感器中第一类型的第一与第二传感器之间的视差；

根据视差，将来自第一数据集的物体翘波到第二数据集，以得到第二数据集中的推算的物体；以及

基于物体以及第二数据集中的推算的物体，推算物体的深度信息。