[发明专利]单目摄像头与毫米波雷达间的位姿配准方法

说明书

本发明公开了一种单目摄像头与毫米波雷达间的位姿配准方法，包括：额外放置一单目摄像头，与待配准的单目摄像头组成双目视觉系统，采集含有仿体的图像，获取仿体的空间坐标；通过将物体在毫米波雷达坐标系的坐标进行仿射变换，转变成物体在摄像机坐标系中的坐标；建立损失函数，所述损失函数抽象成位姿参数的函数，搜索使得损失函数最大的位姿参数。可以方便的获得毫米波雷达以及单目摄像头之间的位姿关系，从而可以方便快速的将视觉信息以及毫米波雷达的信息进行融合，并且配准精度高。

技术领域

本发明属于毫米波雷达和摄像头之间的融合技术领域，具体地涉及一种单目摄像头与毫米波雷达间的位姿配准方法。

背景技术

自动驾驶环境感知系统是一个信息冗余系统，其环境感知传感器包括如激光雷达、双目摄像头、单目摄像头、超声波、毫米波雷达等。而在这个冗余感知系统中，不同传感器之间的信息配准以及融合是自动驾驶的环境感知模块中的关键步骤。

毫米波雷达和摄像头之间的融合是目前的一个研究热点，其主要原理如图1所示。

毫米波雷达数据到摄像头数据的坐标变换，其实就是一个旋转平移矩阵[R，t]。为了表述方便，如图1所示，我们将摄像机坐标系定义为O_cX_cY_cZ_c，毫米波雷达坐标系定义为O_lX_lY_lZ_l，摄像机的图像坐标系定义为O_cU_cV_c。对于空间任意一点M，其在摄像机坐标系下的坐标(X_c,Y_c,Z_c)，其在雷达坐标系下的坐标为(X_l,Y_l,Z_l)，其在摄像机的图像坐标系下的坐标为(u,v)，这样对于空间之间的坐标转换关系如下：

dx代表x轴方向一个像素的宽度，dy代表y轴方向上一个像素的宽度。dx,dy为摄像机的内参数。(u₀,v₀)称为图像平面的主点，也是摄像机的内参数。摄像机的内参数可以通过张正友的标定方法进行快速精确的标定。为了表述方便我们将内参矩阵定义为P，空间点在摄像机坐标系以及雷达坐标系的向量定义为M_c,M_l。

摄像机坐标系和毫米波雷达坐标系之间满足：

R代表旋转，T代表平移。R、T与摄像机无关，所以称这两个参数为摄像机的外参数。有以上关系可以得出摄像机图像坐标系和雷达坐标系存在如下关系：

在公式中，仅有R，T两个待求矩阵，表示毫米波雷达和单目摄像头之间的坐标系位姿变换关系。但是在实际使用过程中会存在2个问题：

1、毫米波雷达只能提供二维信息，即我们以车辆前进的方向为Z轴，车辆横向方向为X轴，竖直向下方向为Y轴建立笛卡尔坐标系，毫米波雷达只能提供XZ平面的信息，在XZ平面内障碍物的位置。

2、单目摄像头无法提供Z_c信息，因此也就无法通过(u,v)坐标值获得障碍物的空间坐标。

由于以上问题的存在，目前主流的校正方案仅仅是通过水平仪，重力仪等工具提升毫米波雷达和单目摄像头安装精度，然后通过手动测量来获取两者之间的位姿关系。但是这样的配准精度不是很高。

发明内容