[发明专利]毫米波雷达、激光雷达与相机联合标定方法和装置

权利要求书

1.一种毫米波雷达、激光雷达与相机联合标定方法，其特征在于，包括：

获取同一时刻、同一场景下采集的图像、毫米波点云数据及激光点云数据；

根据所述毫米波雷达相对于所述相机的第一初始联合标定参数，将所述毫米波点云数据对应的点云映射到所述图像上得到毫米波映射点云，以及根据所述激光雷达相对于所述相机的第二初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到激光映射点云；

计算标定物在所述图像上的毫米波点云目标框和激光点云目标框分别与图像识别目标框之间的重叠面积，所述标定物为所述相机和所述毫米波雷达重叠检测区域中的至少一个目标；

基于各标定物对应的所述重叠面积调整所述第一初始联合标定参数、所述第二初始联合标定参数，直到所述重叠面积满足预设阈值，将调整后的第一联合标定参数及第二联合标定参数作为所述毫米波雷达、激光雷达与相机联合标定的目标联合标定参数。

2.根据权利要求1所述的方法，其特征在于，所述毫米波雷达相对于所述相机的第一初始联合标定参数的计算过程，包括：

将所述毫米波雷达在球坐标系中的坐标转换为所述毫米波雷达在世界坐标系中的坐标；

将所述相机在相机坐标系中的坐标转换为所述相机在所述世界坐标系中的坐标；

根据所述毫米波雷达在所述世界坐标系中的坐标、所述相机在所述世界坐标系中的坐标，计算所述毫米波雷达相对于所述相机的第一初始联合标定参数。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述毫米波雷达相对于所述相机的第一初始联合标定参数，将所述毫米波点云数据对应的点云映射到所述图像上得到毫米波映射点云，包括：

将所述毫米波点云数据在球坐标系中的坐标，转换为在世界坐标系中的坐标；

将所述相机的内参矩阵、所述相机的畸变系数、所述毫米波雷达相对于所述相机的第一初始联合标定参数及所述毫米波点云数据在世界坐标系中的坐标输入至透射变换矩阵，计算所述毫米波点云数据对应的毫米波点云在像素坐标系中的坐标；

从所述图像上提取所述毫米波点云在像素坐标系中的坐标处的像素点，作为毫米波映射点云。

4.根据权利要求1或2所述的方法，其特征在于，根据所述激光雷达相对于所述相机的第二初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到激光映射点云，包括：

获取所述激光点云数据在世界坐标系中的坐标；

将所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的第二初始联合标定参数及所述激光点云数据在世界坐标系中的坐标输入至透射变换矩阵，计算所述激光点云数据对应的激光点云在像素坐标系中的坐标；

从所述图像上提取所述激光点云在像素坐标系中的坐标处的像素点，作为激光映射点云。

5.根据权利要求1或2所述的方法，其特征在于，在所述计算标定物在所述图像上的毫米波点云目标框和激光点云目标框与图像识别目标框之间的重叠面积之前，还包括：

针对所述图像上的每个标定物，在所述图像上以所述毫米波映射点云为中心，以预设尺寸绘制毫米波点云目标框；在所述图像上获取所述目标对应的激光映射点云的外接矩形框作为激光点云目标框；对所述图像进行图像识别得到图像识别目标框；

获取标定物在所述图像上的毫米波点云目标框、激光点云目标框及图像识别目标框。