[发明专利]一种基于单个深度视觉传感器的室内场景三维重建方法

说明书

技术领域

本发明属于室内场景的三维重建技术领域，特别涉及一种基于单个深度视觉传感器的室内场景三维重建方法。

背景技术

建立高质量的室内场景三维模型，尤其是针对室内每个物体创建独立的三维模型是一项极具挑战性的任务。目前，很多室内场景的三维重建方法把重点放在重建室内场景中的局部模型上，致使其方法本身具有：易丢失诸多室内场景的细节信息、需要繁琐的用户交互操作、需要激光扫描仪等大型昂贵的硬件设备等缺点。

商业化的深度相机可以实现场景中物体的三维模型重建，但建立室内场景的三维模型与建立单个物体的三维模型不同，在深度相机的视野范围内，必须沿着某一复杂轨迹的很多视角进行扫描，才能为一个大的室内场景重建三维模型。而且深度相机的移动轨迹需要近距离覆盖每个物体所有的图像表面，但扫描过程中会发生明显的漂移，从而需要从不同视角进行全局配准。因此，完整室内场景的自动三维模型重建方法并不可靠，需要人工标记不同视角下的对应点。

此外，具有影响力的kinectfusion系统的应用证明使用商业化的深度相机可以实时进行三维模型重建，完成包括图像积分、视觉测程、实时3D重建等工作。但早期的kinectfusion系统使用平面立体像素网格，只能用于较小的体积范围；视觉测程算法虽可以提高kinectfusion系统的精确度，但仅能应用于比较狭小的空间内和相机运动轨迹比较简单的情况下，复杂的相机运动路径会影响整个室内场景的三维模型重建效果。

发明内容

本发明的目的在于克服现有技术的不足，提供一种设计合理、扫描过程及使用硬件设备简单、数据信息全面、点云配准精度高且计算性能优异的基于单个深度视觉传感器的室内场景三维重建方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于单个深度视觉传感器的室内场景三维重建方法，包括以下步骤：

步骤1、对彩色相机和深度相机进行联合标定，求解出深度相机和彩色相机的内参矩阵K和外参数；利用单个深度视觉传感器设备多角度采集室内场景的深度数据和RGB数据；

步骤2、对采集到的深度数据和RGB数据进行去噪处理，利用孔洞周围的深度值对孔洞进行填充，得到平滑的深度数据；

步骤3、利用步骤1中计算得出的内参矩阵K，将步骤2中得到的深度数据转换为相应的三维点云数据；

步骤4、对步骤2中得到的不同视角的RGB图像进行匹配计算，并根据匹配得到的结果，对步骤3中得到的不同视角的点云进行配准，建立室内场景的点云模型；

步骤5、对步骤4中得到的点云模型进行平面拟合，提取地面、桌面和墙壁的标志性的平面类模型，从而实现将其对应的点云从步骤4中得到的场景模型中分割出来，建立场景中每个物体的独立完整的三维模型；

所述步骤1的具体步骤包括：

步骤1.1、提取彩色相机和深度相机拍摄的标定棋盘图像上的角点为校准点，进行相机校准，求解出深度相机和彩色相机的内参矩阵K和外参数；

步骤1.2、对同一时刻得到的RGB数据和深度数据进行配准，并求解得到深度数据与RGB数据的对齐变换矩阵；

步骤1.3、利用单个深度视觉传感器摄像头对室内场景进行扫描，采集室内物体表面RGB数据和深度数据，使其扫描范围覆盖到室内场景中的每个物体的完整表面；

所述步骤1.2的具体步骤包括：

(1)分别定义彩色相机和深度相机的三个平面：和其中代表彩色相机的第i个平面，代表深度相机的第i个平面，n_ci是平面的法向，n_di是平面的法向，c代表彩色相机，d代表深度相机；深度数据和RGB数据之间的对齐变换矩阵为在投影空间中，根据旋转矩阵M′、投影比例S′将点映射成

其中，λ_i是未知的比例因子，R′是旋转矩阵，t′是平移量，I₃是一个3*3的单位矩阵，M′是旋转矩阵，S′是投影比例；将n_ci,n_di标准化成将上述公式重新定义为：每一对和有一个平移量的线性约束t′＝L^-1g，其中L，g分别是为便于计算自定义的矩阵，且