[发明专利]用于重建3D线的方法

说明书

技术领域

本发明一般地涉及计算机视觉，并且更具体地涉及从单个2D图像中的2D线重建3D世界坐标系中的3D线，从而能够使用3D线用于场景重建。

背景技术

计算机视觉中的基础问题是单视重建(SVR)。SVR处理从单个2D图像复原3D真实世界场景的问题。

在包括人造结构(例如，建筑物和房间)的室内或室外场景的2D图像中，主要的特征是三个正交方向上的3D线。相对容易的是确定图像中线何时相交。然而，这不一定意味着对应的线在3D真实世界中交叉。

简单的反例是图像中共享公共消失点的线。这些线看起来在消失点处交叉，但是在真实世界中并没有交叉，在真实世界中，这些线彼此平行。因此，识别何时图像中看起来交叉的线对应于真实世界中的交叉是很困难的。推断线的3D结构存在着若干挑战。

最大的挑战在于，图像中的遮挡边缘产生了错误的交叉。真实图像中的线检测方法常常错过了重要的线并且产生了假线。检测到的线常常是中断的或者剪短的，从而消去了交叉的任何证据。另外，真实世界场景由于杂乱而是特别有挑战性的。

SVR是计算机视觉中的确实未解决的问题。重建能够是几何或语义化的。最常见的几何重建方法基于将线标记为凸、凹或遮挡线。线标记问题通常是NP困难的(NP-hard)。已经研究了若干挑战线绘制并且已经开发了新颖的约束满足方法来解决SVR问题。这些方法主要用于合成或计算机生成的线绘制，并且通常对于真实世界图像来说是不满意的。为真实图像提供良好的结果的大多数其它几何单视重建方法依赖于某种用户交互。

随着更全面的方法的出现，对于SVR问题存在着另外的兴趣。例如，图像中的像素能够被分类为天空、建筑物和地面。这样的分类与表面取向的估计一起能够产生足够用于诸如合成步行道、用于电影的立体内容生成和用于物体检测和识别的3D环境的若干应用的3D模型。用于这样的粗略建模的方法使用若干几何和图像特征。

伴随着若干图像特征和对于共面性和共线性的弱假设，一种方法从单个图像估计深度。另一种方法使用长方体近似房间几何性并且对不同假设进行采样并且基于若干图像和几何特征选择最佳的一个。室内场景中的杂乱已经被建模为立方体并且以3D重建。

作为严重的问题，SVR已经导致了若干解决方案，例如，取向地图的计算，从人类活动推断几何形，明确地使用边界信息，模板3D形状并且甚至物理驱动的稳定性和机械约束。

通过使用最优策略来从较大的解空间准确地推断布局来显著地改进性能。已经使用了基于曼哈顿假设的约束来从航拍照片建模建筑物。

发明内容

本发明的实施方式提供了一种用于从提取自单个2D图像的2D线重建3D世界坐标系中的3D线的方法。3D线能够用于场景重建。方法基于从2D图像提取的线的3D重建，使用消失点、正交结构和考虑线之间的所有看起来真实的连接约束的优化过程。

对图像中在结合点处大致交叉的线进行识别。然而，只有相对较少的结合点对应于3D场景中的真实交叉。该方法使用了线性规划(LP)来识别足以毫无疑义地重建线的最少数目的最少违反连接约束。

与已知的主要关注于利用严重限制假设的表现良好的合成(图形)线绘制的LP解相反地，该方法能够从真实世界图像重建场景。

附图说明

图1是根据本发明的实施方式的从单个2D图像中的2D线重建3D世界坐标系中的3D线的方法的框图；

图2A、图2B和图2C是截角正四面体的合成线绘制；

图3是根据本发明的实施方式的包括线的室外场景的2D图像；

图4是根据本发明的实施方式的线、交叉和约束的示意图；

图5是根据本发明的实施方式的约束图形；

图6是根据本发明的实施方式的图像平面中的交叉线的示意图；以及

图7是根据本发明的实施方式的结合点的示意图。

具体实施方式

本发明的实施方式提供了一种从单个图像中的2D线重建3D世界坐标系中的3D线的方法。重建线能够然后用于从2D图像重建三维(3D)场景。

图1示出了提取方法。在相机校准和估计2D图像101的取向之后，对线进行检测，估计消失点，并且对线进行聚类110。从线聚类115，我们使用共线性和正交性约束生成120约束图形125。从该图形，我们针对约束图形中的顶点确定基于结合点135的惩罚项。

线性规划(LP)140和最小生成树150用于重建1603D世界坐标系中的3D线。3D线然后能够用于重建170场景。