[发明专利]一种基于单个深度视觉传感器的室内场景三维重建方法

权利要求书

1.一种基于单个深度视觉传感器的室内场景三维重建方法，其特征在于包括以下步骤：

步骤1、对彩色相机和深度相机进行联合标定，求解出深度相机和彩色相机的内参矩阵K和外参数；利用单个深度视觉传感器设备多角度采集室内场景的深度数据和RGB数据；

步骤2、对采集到的深度数据和RGB数据进行去噪处理，利用孔洞周围的深度值对孔洞进行填充，得到平滑的深度数据；

步骤3、利用步骤1中计算得出的内参矩阵K，将步骤2中得到的深度数据转换为相应的三维点云数据；

步骤4、对步骤2中得到的不同视角的RGB图像进行匹配计算，并根据匹配得到的结果，对步骤3中得到的不同视角的点云进行配准，建立室内场景的点云模型；

步骤5、对步骤4中得到的点云模型进行平面拟合，提取地面、桌面和墙壁的标志性的平面类模型，从而实现将其对应的点云从步骤4中得到的场景模型中分割出来，建立场景中每个物体的独立完整的三维模型；

所述步骤1的具体步骤包括：

步骤1.1、提取彩色相机和深度相机拍摄的标定棋盘图像上的角点为校准点，进行相机校准，求解出深度相机和彩色相机的内参矩阵K和外参数；

步骤1.2、对同一时刻得到的RGB数据和深度数据进行配准，并求解得到深度数据与RGB数据的对齐变换矩阵；

步骤1.3、利用单个深度视觉传感器摄像头对室内场景进行扫描，采集室内物体表面RGB数据和深度数据，使其扫描范围覆盖到室内场景中的每个物体的完整表面；

所述步骤1.2的具体步骤包括：

(1)分别定义彩色相机和深度相机的三个平面：和其中代表彩色相机的第i个平面，代表深度相机的第i个平面，n_ci是平面的法向，n_di是平面的法向，c代表彩色相机，d代表深度相机；深度数据和RGB数据之间的对齐变换矩阵为在投影空间中，根据旋转矩阵M′、投影比例S′将点映射成

其中，λ_i是未知的比例因子，R′是旋转矩阵，t′是平移量，I₃是一个3*3的单位矩阵，M′是旋转矩阵，S′是投影比例；将n_ci,n_di标准化成将上述公式重新定义为：每一对和有一个平移量的线性约束t′＝L^-1g，其中L，g分别是为便于计算自定义的矩阵，且

L=nd1Tnd1nc1Tnd2Tnd2nc2Tnd3Tnd3nc3TR′T,g=nd1Tnd1-nd1TR′nc1nd2Tnd2-nd2TR′nc2nd3Tnd3-nd3TR′nc3]]>

其中，n_d1,n_d2,n_d3分别是深度相机的第一个平面、第二个平面、第三个平面的法向，n_c1,n_c2,n_c3分别是彩色相机的第一个平面、第二个平面、第三个平面的法向，R′是旋转矩阵；

(2)当平面个数大于3时，平面配准算法包括以下四个步骤：

1)为每一对和计算一个对齐变换矩阵T；

2)对于每一个T，计算所有的深度相机坐标计算第j个计算所得的平面Π_dj和其对应的平面之间的欧氏距离l_j；

3)用rank(T)＝∑_j max(l,l_j)为所有的T排序，其中l是一个预设的阈值，当l_j＜l时，认为对应的点对是局内点，T是最小值；

4)进行非线性最小优化，求解最佳的对齐变换矩阵T；

最佳的对齐变换矩阵T的目标函数为：

minIc,I′d,T,TciΣ||x^c-xc||2σc2+Σ(d^-d~)2σd2+β′|λ^′-λ′|2]]>

其中：I_c是彩色相机的内参数集，I′_d是深度相机的内参数集，T是深度数据和RGB数据之间的对齐变换矩阵，T_ci是彩色相机的外参矩阵，是彩色相机的测量方差，是深度相机的测量方差，是彩色相机的测量角点，x_c是投影点，是深度相机的测量视差值，是计算得到的视差值，β′是一个权值，是物体点之间的欧氏距离，λ′是物体点之间的测量距离。