[发明专利]室内场景的稀疏多视角三维重建方法

权利要求书

1.一种室内场景的稀疏多视角三维重建方法，其特征是，基于深度学习的方法获得深度信息与语义信息，然后利用全局-局部配准方法实现各个稀疏视角的模型融合，利用全局-局部配准方法具体包括利用单视角建立面片的方法对深度图进行过滤与平滑、将各个视角下的深度图转换成点云并进行融合步骤，其中，基于深度学习的方法获得深度信息与语义信息具体步骤是：

1)在某一个室内场景中拍摄3～5张图像，采用稀疏视角去拍摄，但每两张之间还是有一定的重叠度，相比追踪的方法，拍摄者有更大的活动空间，且更容易操作；

2)利用已有的方法估计出每张彩色图对应的深度图和语义图；

3)利用单视角建立面片的方法对深度图进行过滤与平滑；

4)将各个视角下的深度图转换成点云，利用获得的语义信息去做全局-局部联合的配准，将各个视角下的点云进行融合；

全局-局部联合配准的方法，具体步骤如下：

是所有稀疏视角所构成的集合，其中N代表稀疏视角的个数，在得到深度信息与语义分割之后，每一个视角由三个部分构成：颜色C_i，深度D_i和分割S_i；按顺序的将各帧进行融合，将当前帧融合到之前融合的模型中，对齐一共由两个步骤：全局对齐和局部对齐；

1)全局对齐：将视角i前一帧融合的点云作为目标，全局对齐的目标是要找到对于视角i最优的变换它主要由两部分构成：旋转R_i和平移t_i；具体而言，首先把深度图D_i转换成点云是第i个视角的点的集合，n_i表示这个视角下的所有点的数目，全局ICP框架主要由两个步骤构成，首先变换矩阵初始化为一个4×4的单位矩阵，目标点云包含了前面所有视角的点，第一步要找到点它的对应点第二步是对变换进行更新，使得和对齐；

把前面所获得的语义信息利用起来，使原来只有三个维度的空间点上升到7个维度，即涵盖了点的空间位置(x_k,y_k,z_k)，彩色图r,g,b三个通道信息(r_k,g_k,b_k)和一个语义标签s_k；同样的，对于每一个点变成高维点要将和两个视角对齐，首先要找到这两个视角下的对应点，即的对应点然后把求变换转换为以下的优化问题：

其中w₁和w₂是用来调节几何、光度和语义信息的权重值，n_j表示j个视角下的所有点的数目；

因为所取的视角比较稀疏，各个视角之间的重叠区域有限，不是中的所有点都能在中找到对应点，如果找到的点与p_k之间的匹配误差大于某一个阈值，则认为匹配失败，将这对对应点丢弃；是对应点的集合，接下来根据对应关系，找到两堆点云之间的变换，通过优化下面的公式：

2)局部对齐：用于对之前全局对齐的结果进行改善，具体而言，首先从原来的点云中根据每个点所属的标签去抽取有相同标签的点，组成一个个点云子集，然后对每一个具有相同标签的点云子集用全局对齐的方法进行配准，因为进行配准的点云都是属于同一个标签，所以公式(1)中的语义差异项||p_k(s)-p′_v(s)||²为0，对于每一个局部的点云集合，对齐完之后，采用取平均的方法去融合来自不同视角下的对齐部分。

2.如权利要求1所述的室内场景的稀疏多视角三维重建方法，其特征是，具体步骤如下：

1)在室内场景中拍摄彩色图像，所拍摄彩色图像要确保有重叠度；

2)估计出每张彩色图对应的深度图和语义图；

3)利用单视角建立面片的方法对深度图进行过滤与平滑：首先把特定视角下的深度转化成点云，接下来在二维的彩色图像上划分网格，采用均匀划分的方式，形成二维的三角形网格；然后将对应的点云投影到图像平面上，根据投影到每个三角形里的点的深度去拟合求出三角形三个顶点的深度，最终用顶点的深度去代替落在三角形之内点的深度，这样就实现了对深度图的过滤和平滑约束；

4)将各个视角下的深度图转换成点云，利用获得的语义信息去做全局-局部联合的配准，将各个视角下的点云进行融合。

3.如权利要求1所述的室内场景的稀疏多视角三维重建方法，其特征是，深度图的过滤与平滑操作具体步骤是：首先把特定视角下的深度转化成点云，接下来在二维的彩色图像上划分网格，采用均匀划分的方式，形成二维的三角形网格；然后将对应的点云投影到图像平面上，根据投影到每个三角形里的点的深度去拟合求出三角形三个顶点的深度，最终用顶点的深度去代替落在三角形之内点的深度，这样就实现了对深度图的过滤和平滑约束。