[发明专利]三维重建方法及装置

说明书

本申请实施例公开了一种三维重建方法及装置，通过采用卷积神经网络训练而成的匹配模型进行立体匹配，使得立体匹配的结果更加精确，从而提高三维重建的精度。详细地，首先获取待处理的第一图像和第二图像；接着将所述第一图像和所述第二图像同时输入预先训练好的匹配模型进行特征点提取以及特征点匹配；然后获取视差图并根据所述视差图计算各个像素点的深度信息；最后，根据特征点对中的第一特征点的第一坐标信息、第二特征点的第二坐标信息和所述深度信息进行三维重建。

技术领域

本申请涉及三维重建技术领域，具体而言，涉及一种三维重建方法及装置。

背景技术

现有技术中，在进行三维重建时，一般是采用SGM算法进行立体匹配，该算法是一种基于互信息和多方向动态规划的像素匹配算法，SGM算法进行立体匹配时，仅仅利用某一点邻域的灰度、颜色、梯度等信息进行计算匹配代价，其基本原理为：在参考图像中选择一个点，选择该点邻域内的一个支持窗口，然后依据一定的相似性判断准则，在待匹配图像中寻找与支持窗口最相似的子窗口，该子窗口所对应的像素点即作为对应的匹配点。这种匹配算法对于重复纹理区域的匹配效果并不理想，匹配精度较低。

发明内容

为了至少克服现有技术中的上述不足，本申请的目的之一在于提供一种三维重建方法，所述方法包括：

获取待处理的第一图像和第二图像，所述第一图像和所述第二图像为双目相机同一时刻采集的两幅图像对应的灰度图；

将所述第一图像和所述第二图像同时输入预先训练好的匹配模型进行特征点提取以及特征点匹配，分别获得所述第一图像中的第一特征点、第二图像中的第二特征点、第一特征点在第一图像中的第一坐标信息、第二特征点在第二图像中的第二坐标信息和由相对应的第一特征点与第二特征点构成的特征点对，其中，所述匹配模型由卷积神经网络训练而成；

获取视差图并根据所述视差图计算各个像素点的深度信息，所述视差图是每个像素点由代表视差大小的值构成的图像，所述深度信息是表征每个像素点与图像采集点之间远近程度的信息；

根据特征点对中的第一特征点的第一坐标信息、第二特征点的第二坐标信息和所述深度信息进行三维重建。

可选地，所述将所述第一图像和所述第二图像同时输入预先训练好的匹配模型进行特征点提取以及特征点匹配的步骤包括：

采用SURF算法对所述第一图像和所述第二图像进行特征点提取以及特征点匹配。

可选地，在获取待处理的第一图像和第二图像的步骤前，所述方法还包括：

获取第一初始图像和第二初始图像，所述第一初始图像和第二初始图像为双目相机同一时刻采集的且未经处理的图像；

对所述第一初始图像和第二初始图像进行图像矫正，以消除第一初始图像与第二初始图像中的形变，获得第一中间图像和第二中间图像；

分别针对所述第一中间图像和第二中间图像获取灰度图，对应得到所述第一图像和所述第二图像。

可选地，所述根据特征点对中的第一特征点的第一坐标信息、第二特征点的第二坐标信息和所述深度信息进行三维重建的步骤包括：

针对每个特征点对，根据特征点对中的第一特征点的第一坐标信息、第二特征点的第二坐标信息和所述深度信息获得该特征点对在三维空间中对应的三维坐标信息；

根据所有特征点对的所述三维坐标信息进行网格划分，获得多个网格；

根据各个网格顶点处三维坐标信息对应的图像坐标，从所述第一初始图像或者所述第二初始图像中获得网格范围内的纹理信息和颜色信息；

根据所述纹理信息和所述颜色信息绘制所述网格。

可选地，所述获取视差图并根据所述视差图计算各个像素点的深度信息的步骤包括：