[发明专利]一种基于RGB-D相机的毫米波雷达数据标注方法

权利要求书

1.一种基于RGB-D相机的毫米波雷达数据标注方法，其特征是，包括以下步骤：

S1：利用RGB-D相机和毫米波雷达同时采集数据，RGB-D相机采集的数据为一幅深度图像和一幅RGB的彩色图像，毫米波雷达采集输出点云数据集P_r；

S2：通过像素坐标系与相机坐标系转换，得到图像中对应物体在相机坐标系下的点云数据集P_c；

S3：根据点云数据集P_c对RGB-D相机采集的彩色图像进行目标标注，得到在RGB-D相机坐标系下的点云数据坐标集P_{_obj}；

S4：将RGB-D相机坐标系下的点云数据坐标集P_{_obj}转化为毫米波雷达坐标系下的点云数据坐标集P_{_obj_I}；

S5：根据毫米波雷达坐标系下的点云数据坐标集P_{_obj_I}和毫米波雷达点云数据集P_r寻找到对应的点云数据集P_result，完成标注。

2.根据权利要求1所述的一种基于RGB-D相机的毫米波雷达数据标注方法，其特征是，所述RGB-D相机和毫米波雷达在采集数据时，需要安装在同一平面上，且RGB-D相机的中心和毫米波雷达的中心在同一水平线上。

3.根据权利要求1所述的一种基于RGB-D相机的毫米波雷达数据标注方法，其特征是，所述S2具体为：根据彩色图像上物体的若干像素点和深度图像对应的深度值，通过像素坐标系与相机坐标系转换公式得到图像中对应物体在相机坐标系下的空间坐标点的集合，即对应物体在相机坐标系下的点云数据集P_c，所述像素坐标系与相机坐标系转换公式为：

其中，(u，v，1)是彩色图像上物体的像素点在像素坐标系下的空间坐标，Z_c是彩色图像上物体的像素点在深度图上对应的深度值，f_x为相机焦距在x方向上的缩放比例，f_y相机焦距在y方向上的缩放比例，c_x为相机光轴在x方向上偏移量，c_y为相机光轴在y方向上偏移量，(x_c，y_c，z_c)为像素点在相机坐标系下的空间坐标。

4.根据权利要求2所述的一种基于RGB-D相机的毫米波雷达数据标注方法，其特征是，所述S4具体为：将RGB-D相机坐标系下的点云数据坐标集P_{_obj}内的空间坐标点的集合通过毫米波雷达坐标系和RGB-D相机坐标系转换公式转化为毫米波雷达坐标系下的云数据坐标集P_{_obj_I}，所述毫米波雷达坐标系和RGB-D相机坐标系转换公式为：

(x_c，y_c，z_c)-T＝(x_r，y_r，z_r)

其中，T＝(dx，0，0)为平移矩阵，dx为RGB-D相机的中心和毫米波雷达的中心之间的距离，(x_c，y_c，z_c)为RGB-D相机中的像素点在相机坐标系下的空间坐标，(x_r，y_r，z_r)为毫米波雷达中的与RGB-D相机中对应的像素点在雷达坐标系下的空间坐标。

5.根据权利要求1所述的一种基于RGB-D相机的毫米波雷达数据标注方法，其特征是，所述S5具体为：以点云数据坐标集P_{_obj_I}为基础，逐个取点云数据坐标集P_{_obj_I}中的空间坐标点，计算其与毫米波雷达采集输出点云数据集P_r中的空间坐标点的距离，找到距离最近的点完成标注。

6.根据权利要求5所述的一种基于RGB-D相机的毫米波雷达数据标注方法，其特征是，所述空间坐标点的距离公式为：

其中，(x_i，y_i，z_i)为点云数据坐标集P_{_obj_I}中的空间坐标点的坐标，(x_r，y_r，z_r)为毫米波雷达采集输出点云数据集P_r中的空间坐标点的坐标。