[发明专利]相机和雷达融合

说明书

本公开提供“相机和雷达融合”。一种系统包括计算机，所述计算机包括处理器和存储器。所述存储器存储指令，所述指令可由所述处理器执行，使得所述计算机被编程为：将竖直图像平面相机图像变换到水平图像平面，进而生成经过变换的相机图像；基于所述经过变换的相机图像的分辨率来生成经过缩放的水平图像平面雷达图像；以及随后将所述经过缩放的雷达图像叠加在所述经过变换的相机图像上，进而生成水平图像平面叠加图像。

技术领域

本公开总体涉及车辆相机和传感器。

背景技术

自主车辆(或自动驾驶汽车)中的一个或多个计算机可被编程为基于车辆传感器数据来导航和操作车辆。车辆计算机可能会依赖于传感器数据(例如，相机数据、雷达数据等)来检测对象。

发明内容

一种系统包括计算机，所述计算机包括处理器和存储器。所述存储器存储指令，所述指令可由处理器执行，使得所述计算机被编程为：将竖直图像平面相机图像变换到水平图像平面，进而生成经过变换的相机图像；基于经过变换的相机图像的分辨率来生成经过缩放的水平图像平面雷达图像；以及随后将经过缩放的雷达图像叠加在经过变换的相机图像上，进而生成水平图像平面叠加图像。

所述指令可还包括进行以下操作的指令：还基于从所接收的雷达图像提取的占用网格地图图像来生成经过缩放的雷达图像。

所述指令可还包括进行以下操作的指令：在相机图像数据中检测对象；在经过变换的相机图像中识别检测到的对象的第一位置；在雷达图像中识别检测到的对象的第二位置；以及重新缩放经过缩放的雷达图像以将所述雷达图像中的所述对象的所述第一位置叠加在所述经过变换的相机图像中的所述对象的所述第二位置上。

所述指令可还包括进行以下操作的指令：确定逆变换函数，所述逆变换函数将水平图像平面叠加图像变换到竖直图像平面，进而生成包括对象的纵坐标的竖直图像平面叠加图像。

所述生成竖直图像平面叠加图像的指令可还包括：向雷达图像应用逆变换函数，进而生成竖直图像平面雷达图像；以及将竖直图像平面雷达图像叠加在竖直平面相机图像上。

所述指令可还包括进行以下操作的指令：在所述经过变换的相机图像中检测两个或更多个道路标记；确定所述经过变换的图像中的所述检测到的两个或更多个道路标记之间的像素的数目；以及基于所述检测到的两个或更多个道路标记的现实世界距离以及所述经过变换的图像中的所述检测到的两个或更多个道路标记之间的所确定的像素的数目来确定相机图像的分辨率。

所述指令可还包括进行以下操作的指令：基于在经过变换的相机图像中检测到的护栏、灯杆、交通标志和墙壁中的至少一者的现实世界尺寸来确定相机图像的分辨率。

所述指令可还包括进行以下操作的指令：基于相机和图像数据的视野的重叠来裁剪雷达图像；以及从所述经过裁剪的雷达图像生成经过缩放的雷达图像。

所接收的竖直图像平面相机图像可能是失真的，并且所述指令可还包括进行以下操作的指令：在将相机图像变换到水平图像平面之前矫正所接收的相机图像。

本文还公开的是一种系统，所述系统包括：具有第一视野的雷达传感器和具有第二视野的相机传感器，其中所述第一视野和所述第二视野至少部分地重叠；以及计算机，所述计算机被编程为：将竖直图像平面相机图像变换到水平图像平面，进而生成经过变换的相机图像；基于经过变换的相机图像的分辨率来生成经过缩放的水平图像平面雷达图像；以及随后将经过缩放的雷达图像叠加在经过变换的相机图像上，进而生成水平图像平面叠加图像。

此外，一种方法包括：将竖直图像平面相机图像变换到水平图像平面，进而生成经过变换的相机图像；基于经过变换的相机图像的分辨率来生成经过缩放的水平图像平面雷达图像；以及随后将经过缩放的雷达图像叠加在经过变换的相机图像上，进而生成水平图像平面叠加图像。

所述方法可还包括：还基于从所接收的雷达图像提取的占用网格地图图像来生成经过缩放的雷达图像。