[发明专利]一种基于RGB-D图像的室内场景三维重建方法

权利要求书

1.一种基于RGB-D图像的室内场景三维重建方法，其特征在于，该方法包括以下步骤：

S1.连续采集室内场景的D图像和RGB图像，同时选取关键帧，建立关键帧数据库；

S2.对当前帧RGB图像进行语义分割，得到当前帧语义分割结果和当前帧像素分类结果；

S3.利用所述当前帧语义分割结果，修复当前帧D图像的空洞，得到当前帧修复后D图像；

S4.根据当前帧修复后D图像，计算当前帧相机位姿，根据当前帧相机位姿，将当前帧三维点云融合到已重建好的三维点云中；

S5.根据当前帧相机位姿，将重建后的三维点云反投影为当前帧RGB-D图像，执行相机位姿的局部优化，根据优化后位姿对三维点云进行更新，并将当前帧与关键帧数据库中关键帧进行匹配，若匹配成功，则进入步骤S6，否则，进入步骤S7；

S6.对当前帧进行闭环检测，闭环检测成功时，更新相机位姿，根据更新的相机位姿对三维点云进行更新；

S7.确立当前帧是否为关键帧，如果是，确定为关键帧，加入关键帧数据库，进入步骤S8，否则，直接进入步骤S9；

S8.基于关键帧执行相机位姿的全局优化，根据优化后位姿对三维点云进行更新；

S9.将所述当前帧像素分类结果融合到更新后的三维点云中，得到重建后的室内场景；

步骤S3具体包括以下子步骤：

S301.根据语义分割结果获取物体类别与物体轮廓；

S302.利用物体类别与物体轮廓信息，提取D图像空洞对应物体区域；

S303.平面拟合D图像空洞对应物体表面；

S304.重投影填充空洞区域。

2.如权利要求1所述的室内场景三维重建方法，其特征在于，关键帧的选取方式为：

当图像帧与上一关键帧视差大于阈值并且匹配点数少于设定数量时，将其确立为关键帧。

3.如权利要求1所述的室内场景三维重建方法，其特征在于，基于CNN和CRF进行语义分割。

4.如权利要求1所述的室内场景三维重建方法，其特征在于，步骤S4具体包括以下子步骤：

S401.根据修复后D图像，利用稀疏特征点匹配得到粗略的相机位姿；

S402.在所述粗略的相机位姿基础上，通过几何误差与光度误差最小化，得到精确的相机位姿；

S403.将当前帧三维点云融合到已重建好的三维点云中。

5.如权利要求1所述的室内场景三维重建方法，其特征在于，闭环检测时，当前图像帧与历史图像帧的相似度如果达到相似度阈值，则认为产生回环。

6.如权利要求5所述的室内场景三维重建方法，其特征在于，对RGB-D图像进行像素RGB-D四通道编码，编码后的二进制编码块b_F之间的相似度由汉明距离决定，相似度计算公式如下：

将两幅图像A和B所有对应二进制编码块的相似度值累加得到图像的相似度，计算公式如下：

其中，表示图像A中第k个二进制编码块，表示图像B中第k个二进制编码块，m表示二进制编码块的个数。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的室内场景三维重建方法。