[发明专利]交叉模态传感器数据对准

权利要求书

1.一种由一个或多个数据处理装置执行的方法，所述方法包括：

获得：(i)由相机传感器生成的表征环境的视觉外观的图像，以及(ii)由探测传感器生成的表征环境的三维几何形状的包括数据点的集合的点云，其中每个数据点定义环境中的表面上的点的相应三维空间位置；

使用视觉嵌入神经网络来处理所述图像的多个区域中的每个区域，以生成图像区域中的每个的相应嵌入；

使用形状嵌入神经网络来处理所述点云的多个区域中的每个区域，以生成点云区域中的每个的相应嵌入；以及

使用图像区域的嵌入和点云区域的嵌入来识别多个区域对，其中每个区域对包括表征环境的相同相应地方的相应图像区域和相应点云区域。

2.根据权利要求1所述的方法，其中，所述探测传感器是激光雷达传感器或雷达传感器。

3.根据权利要求1-2中任一项所述的方法，其中，所述相机传感器和所述探测传感器被安装在载具上。

4.根据权利要求1所述的方法，其中，所述点云中的每个数据点另外定义光脉冲的反射强度，所述光脉冲由所述探测传感器发送并且从由所述数据点定义的三维空间位置处的环境的表面上的点反射。

5.根据权利要求1-4中任一项所述的方法，还包括：

使用所述多个区域对来确定所述相机传感器和所述探测传感器是否被准确地校准。

6.根据权利要求1-5中任一项所述的方法，还包括：

获得定义对象在所述图像中的位置的数据；以及

基于(i)所述对象在所述图像中的位置和(ii)所述多个区域对来识别所述对象在所述点云中的对应位置。

7.根据权利要求6所述的方法，其中，基于(i)所述对象在所述图像中的位置和(ii)所述多个区域对来识别所述对象在所述点云中的对应位置包括：

识别特定区域对，其中，对于每个特定区域对，所述区域对的图像区域对应于所述对象在所述图像中的位置；以及

基于每个特定区域对的相应点云区域来确定所述对象在所述点云中的位置。

8.根据权利要求1-7中任一项所述的方法，还包括：

获得定义对象在所述点云中的位置的数据；以及

基于(i)所述对象在所述点云中的位置和(ii)所述多个区域对来识别所述对象在所述图像中的对应位置。

9.根据权利要求8所述的方法，其中基于(i)所述对象在所述点云中的位置和(ii)所述多个区域对来识别所述对象在所述图像中的对应位置包括：

识别特定区域对，其中，对于每个特定区域对，所述区域对的点云区域对应于所述对象在所述点云中的位置；以及

基于每个特定区域对的相应图像区域来确定所述对象在所述图像中的位置。

10.根据权利要求1-9中任一项所述的方法，还包括：

使用所述多个区域对将所述点云投影到与所述图像对准的二维图像平面上；以及

使用神经网络处理所述图像和所投影的点云以生成神经网络输出。

11.根据权利要求10所述的方法，其中，所述神经网络输出包括识别对象在环境中的位置的数据。

12.根据权利要求1-11中任一项所述的方法，其中，多个图像区域覆盖所述图像。

13.根据权利要求1-12中任一项所述的方法，其中，多个点云区域覆盖所述点云。