[发明专利]生成视差图的方法、装置、介质及设备

说明书

本公开的实施方式公开了一种生成视差图的方法和装置、电子设备、计算机可读存储介质以及计算机程序，其中的生成视差图的方法包括：获取待处理双目图像的预测视差图和待处理双目图像对应的点云数据；其中，所述双目图像包括：第一目图像和第二目图像；根据所述点云数据获取投影视差图；根据所述预测视差图中的视差值和所述投影视差图中的视差值，确定所述待处理双目图像的视差图。

技术领域

本公开涉及计算机视觉技术，尤其是涉及一种生成视差图的方法、生成视差图的装置、电子设备、计算机可读存储介质以及计算机程序。

背景技术

立体匹配技术是指，从相同场景的多个视角图像中找到匹配的像素。匹配的像素之间的距离可以形成视差图。在一些应用场景中，往往需要利用大量的包含视差图样本的数据样本，来训练神经网络。

发明内容

本公开实施方式提供一种生成视差图的技术方案。

根据本公开实施方式其中一方面，提供一种生成视差图的方法，包括：获取待处理双目图像的预测视差图和待处理双目图像对应的点云数据；其中，所述双目图像包括：第一目图像和第二目图像；根据所述点云数据获取投影视差图；根据所述预测视差图中的视差值和所述投影视差图中的视差值，确定所述待处理双目图像的视差图。

在本公开一实施方式中，所述获取待处理双目图像的预测视差图，包括：获取第一目图像和第二目图像的匹配像素位置相关信息；根据所述匹配像素位置相关信息，获取所述待处理双目图像的预测视差图。

在本公开又一实施方式中，所述获取第一目图像和第二目图像的匹配像素位置相关信息，包括：获取第一目图像的特征信息和第二目图像的特征信息；对所述第一目图像的特征信息和第二目图像的特征信息进行匹配代价相关运算，根据所述匹配代价相关运算的结果，获得第一目图像和第二目图像的匹配像素位置相关信息。

在本公开再一实施方式中，在所述第一目图像被作为主视角图像的情况下，所述根据所述匹配像素位置相关信息，获取所述待处理双目图像的预测视差图，包括：将所述匹配像素位置相关信息与所述第一目图像的特征信息进行拼接；对所述拼接后的信息进行编解码处理，根据编解码处理的结果，获得所述待处理双目图像的预测视差图。

在本公开再一实施方式中，所述待处理双目图像对应的点云数据包括：所述待处理双目图像对应的至少两帧点云数据；所述根据所述点云数据获取投影视差图包括：根据采集所述至少两帧点云数据的设备位置变化信息，对所述至少两帧点云数据进行数据增强的融合处理，获得所述待处理双目图像的融合点云数据；根据所述融合点云数据，获取投影视差图。

在本公开再一实施方式中，所述待处理双目图像对应的至少两帧点云数据包括：所述待处理双目图像的点云数据；以及，在时序上，与所述待处理双目图像相邻、且位于所述待处理双目图像的点云数据之前和/或之后的至少一帧点云数据。

在本公开再一实施方式中，所述设备位置变化信息包括：设备位移变化量，和/或，姿态角度变化量。

在本公开再一实施方式中，所述根据采集所述至少两帧点云数据的设备位置变化信息，对所述至少两帧点云数据进行数据增强的融合处理，包括：根据采集所述至少两帧点云数据的设备位置变化信息，对其中的至少一帧点云数据进行变换处理；利用变换处理后的点云数据，对所述待处理双目图像的点云数据进行数据积累处理，获得所述融合点云数据。

在本公开再一实施方式中，所述根据所述融合点云数据，获取投影视差图，包括：根据获得所述待处理双目图像的摄像装置参数、所述摄像装置的双目标定参数以及采集所述点云数据的设备参数，对所述融合点云数据进行投影处理，获得投影视差图。

在本公开再一实施方式中，所述根据所述投影视差图中的视差值以及所述预测视差图中的视差值，确定所述待处理双目图像的视差图，包括：根据所述预测视差图中的视差值对所述投影视差图中的视差值进行过滤，获得所述待处理双目图像的视差图。