[发明专利]基于稀疏直接法的语义要素测距方法、装置和电子设备

说明书

本发明提供了一种基于稀疏直接法的语义要素测距方法、装置和电子设备。该方法包括使用稀疏直接法根据采集的各帧道路图像和车辆的轮速得到各帧道路图像对应的深度图像，并将各深度图像拼接得到半稠密点云，深度图像包含与其对应的道路图像中的部分像素的坐标和深度值；对各帧道路图像进行语义要素分割得到各类型的语义要素；利用半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标。该方法无需使用激光雷达，依赖的传感器较少，成本较低，具有较高的实施效率；并且，稀疏直接法得到的深度图像更加稠密，语义要素的信息更加全面，保证对各种语义要素测距的准确性。

技术领域

本发明涉及高精地图技术领域，特别是涉及一种基于稀疏直接法的语义要素测距方法、装置和电子设备。

背景技术

在车辆自动驾驶领域，为了对车辆进行定位，需要构建语义地图。车辆定位和语义地图构建过程中都要对拍摄到的语义要素进行测距，即计算语义要素的像素坐标，例如对空中的指示牌、杆子等进行测距，对地面上的车道线、人行横道线以及箭头等语义要素进行测距。

目前，常用的语义要素测距方法是通过激光雷达和相机联合进行测距，但是激光雷达的成本较高。除了通过激光雷达和相机联合进行语义要素测距外，目前还可以使用特征点法进行语义要素测距，但是该方法无法保证所有语义要素都能提取到特征，因此会导致有些语义要素无法测距。另外，特征点法得到的图像深度图非常稀疏，只能对语义要素上的几个点进行测距，例如，指示牌和地面箭头等语义要素只能够使用一个点表示，导致这些语义要素的测距不够准确。

发明内容

鉴于上述问题，提出了一种克服上述问题或者至少部分地解决上述问题的基于稀疏直接法的语义要素测距方法、装置和电子设备。

本发明的一个目的是降低对道路图像中的语义要素的测距成本以及提高语义要素测距的准确性。

根据本发明的一方面，本发明提供了一种基于稀疏直接法的语义要素测距方法，包括：

使用稀疏直接法根据采集的各帧道路图像和车辆的轮速得到各帧所述道路图像对应的深度图像，并将各所述深度图像拼接得到半稠密点云，所述深度图像包含与其对应的道路图像中的部分像素的坐标和深度值；

对各帧所述道路图像进行语义要素分割得到各类型的语义要素；

利用所述半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标。

可选地，利用所述半稠密点云中各深度图像包含的道路图像中部分像素的坐标和深度值计算与其对应的道路图像中各类型的语义要素的像素坐标，包括：

从各类型语义要素中选取一种可构建平面方程的要素作为目标要素；

在所述深度图像中确定与其对应的道路图像中的目标要素对应的目标像素组，所述目标像素组包含多个具有深度值的像素；

基于相机内参矩阵以及所述目标像素组中每个像素的深度值和在道路图像中的坐标计算所述目标像素组的每个像素在相机坐标系中的坐标；

根据所述目标像素组的每个像素在相机坐标系中的坐标得到包含平面参数的平面方程；

将所述目标像素组的部分像素在相机坐标系中的坐标代入所述平面方程确定所述平面参数；

根据确定所述平面参数后的平面方程计算所述道路图像中各类型语义要素的每个像素在相机坐标系中坐标。

可选地，当目标要素为地面要素时，根据确定所述平面参数后的平面方程计算所述道路图像中各类型语义要素的每个像素在相机坐标系中坐标，包括：