[发明专利]一种基于RGB-D相机的毫米波雷达数据标注方法

说明书

本发明公开了一种基于RGB‑D相机的毫米波雷达数据标注方法，包括：用RGB‑D相机和毫米波雷达同时采集数据；通过像素坐标系与相机坐标系转换，得到图像中对应物体在相机坐标系下的点云数据集；根据点云数据集对RGB‑D相机采集的彩色图像标注目标，得到在RGB‑D相机坐标系下的点云数据坐标集；将RGB‑D相机坐标系下的点云数据坐标集转化为毫米波雷达坐标系下的点云数据坐标集；根据毫米波雷达坐标系下的点云数据坐标集寻找到对应的点云数据集，完成标注。本发明通过RGB‑D的彩色图像进行标注，可以识别出物体的种类或类别；标注方式简单，只需要找到毫米波雷达与RGB‑D相机中目标对应的点；图像中的信息丰富，可以为毫米波雷达的点云数据赋予更多的信息。

技术领域

本发明涉及图像目标标注领域，尤其是指一种基于RGB-D相机的毫米波雷达数据标注方法。

背景技术

目前对于毫米波雷达目标点云数据的标注方法不多，一部分方案是通过对毫米波雷达的点云数据进行预处理，获取目标，即通过去除点云数据的噪声，再使用一些聚类的方法将毫米波雷达的点云数据进行聚类，获取雷达点云数据中的目标，从而对数据进行标注，但是这种方案仅通过聚类的点云无法识别具体的目标是什么物体；另外一些方案则是通过毫米波雷达的多普勒频谱图进行分析，获取数据中目标的相关信息，并将多普勒数据中目标信息转化至对应的点云数据中，但是这种方法需要采集毫米波雷达的多普勒数据，不是直接通过点云数据进行目标标注的，实现的过程复杂繁琐。

例如，一种在中国专利文献上公开的“用于标注点云数据的方法和装置”，其公告号CN107945198B，所述方法的一具体实施方式包括：使用激光雷达以及不同于激光雷达的传感器对同一场景进行数据采集，分别得到点云数据以及传感器数据；对所述点云数据进行分割与跟踪，获得点云分割与跟踪结果；对所述传感器数据中的特征物进行识别与跟踪，获得特征物识别与跟踪结果；使用所述特征物识别与跟踪结果对所述点云分割与跟踪结果进行校正，获得点云分割与跟踪结果的置信度；将置信度大于置信度阈值的点云分割与跟踪结果确定为点云标注结果。该发明虽然实现了降低了对点云数据进行标注的人工工作量，降低了标注成本，但并没有解决实现的过程复杂繁琐和无法识别具体的目标是什么物体的问题。

发明内容

本发明是为了克服现有技术的不是直接通过点云数据进行目标标注的，实现的过程复杂繁琐的问题，提供一种基于RGB-D相机的毫米波雷达数据标注方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于RGB-D相机的毫米波雷达数据标注方法，包括以下步骤：S1：利用RGB-D相机和毫米波雷达同时采集数据，RGB-D相机采集的数据为一幅深度图像和一幅RGB的彩色图像，毫米波雷达采集输出点云数据集P_r；S2：通过像素坐标系与相机坐标系转换，得到图像中对应物体在相机坐标系下的点云数据集P_c；S3：根据点云数据集P_c对RGB-D相机采集的彩色图像进行目标标注，得到在RGB-D相机坐标系下的点云数据坐标集P_{_obj}；S4：将RGB-D相机坐标系下的点云数据坐标集P_{_obj}转化为毫米波雷达坐标系下的点云数据坐标集P_{_obj_I}；S5：根据毫米波雷达坐标系下的点云数据坐标集P_{_obj_I}和毫米波雷达点云数据集P_r寻找到对应的点云数据集P_result，完成标注。本发明通过同时采集毫米波雷达的数据与RGB-D的数据，利用RGB-D相机采集的图像数据直观的特点，可以很容易的标注出图像中的物体与类别；然后利用RGB-D相机的特性，将图像中的物体与RGB-D相机的点云数据进行对应，即找到图像中的目标物体对应RGB-D点云数据中的哪些点云；最后在通过RGB-D相机与毫米波雷达空间转换关系，利用RGB-D相机中目标点云数据的空间坐标找到毫米波雷达点云数据的对应值，便可以将毫米波雷达数据中的物体进行标注。这种方法直观，简洁，不需要设置去噪和聚类的参数，也不需要专业的分析多普勒数据的能力，对于普通的雷达使用者便可以完成。