[发明专利]一种数据融合方法及电子设备

说明书

本发明实施例提供了一种数据融合方法及电子设备，上述方法包括：获得图像采集设备采集的图像，并获得基于雷达设备采集的点云数据生成的目标分辨率的第一深度图，基于图像和第一深度图，进行深度图预测得到目标分辨率的第二深度图和第一置信度图，并预测图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，基于预测得到的参数和第一深度图进行深度图预测，得到目标分辨率的第三深度图和第二置信度图，基于第一置信度图和第二置信度图，得到图像对应的深度图。应用本发明实施例提供的方案进行数据融合时，能够使得所得到的深度图中能够包含图像采集设备所采集的图像中每一像素点对应的深度信息。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据融合方法及电子设备。

背景技术

自动驾驶车辆上往往会搭载有图像采集设备和雷达设备，这样车辆可以基于图像采集设备采集的图像和雷达设备采集的点云数据实现自动驾驶。车辆在实现自动驾驶过程中除了要参考行驶场景的图像之外，还需要参考行驶场景的深度信息，为此，需要基于图像采集设备采集的图像和雷达设备采集的点云数据进行数据融合，获得上述图像对应的深度图。

现有技术中，首先基于雷达设备所采集的点云数据生成深度图，然后基于上述图像采集设备采集的图像反映的各个像素点间的几何特性和上述深度图进行数据融合，得到上述图像对应的深度图。

然而，由于雷达设备所采集点云数据的分辨率较低，在基于上述几何特性实现数据融合时，可能会难以得到上述图像中每一像素点对应的深度信息，也就是，所得到的深度图中难以包含上述图像中每一像素点对应的深度信息。

发明内容

本发明实施例的目的在于提供一种数据融合方法及电子设备，以使得所得到的深度图中能够包含图像采集设备所采集的图像中每一像素点对应的深度信息。具体技术方案如下：

第一方面，本发明实施例提供了一种数据融合方法，所述方法包括：

获得图像采集设备采集的图像，并获得基于雷达设备采集的点云数据生成的目标分辨率的第一深度图，其中，所述图像采集设备和雷达设备的采集时刻相同、采集区域相同，所述目标分辨率为所述图像的分辨率；

基于所述图像和第一深度图，进行深度图预测得到所述目标分辨率的第二深度图和第一置信度图，并预测所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数，其中，所述第一置信度图中每一像素点的像素值表示所述第二深度图中该像素点对应的深度值的置信度；

基于预测得到的参数和所述第一深度图进行深度图预测，得到所述目标分辨率的第三深度图和第二置信度图，其中，所述第二置信度图中每一像素点的像素值表示所述第三深度图中该像素点对应的深度值的置信度；

基于所述第一置信度图和第二置信度图，对所述第二深度图和第三深度图进行数据融合，得到所述图像对应的深度图。

本发明的一个实施例中，上述基于预测得到的参数和所述第一深度图进行深度图预测，得到所述目标分辨率的第三深度图和第二置信度图，包括：

基于预测得到的参数以及所述第一深度图中已知像素点对应的深度值，估算所述第一深度图中未知像素点对应的深度值，得到所述目标分辨率的第四深度图，其中，所述已知像素点为：基于所述点云数据生成深度值的像素点，所述未知像素点为：所述第一深度图中除所述已知像素点外的像素点；

针对所述第四深度图中的每一像素点，基于其他像素点对应的深度值调整该像素点对应的深度值，并获得该像素点对应的深度值为调整后深度值的置信度，得到所述目标分辨率的第三深度图和第二置信度图。

本发明的一个实施例中，在获得所述第一深度图之后，还包括：

生成用于反映所述第一深度图中所述已知像素点位置和所述未知像素点位置的掩膜图；