[发明专利]从图像生成三维模型

说明书

相关申请的交叉引用

本申请要求于2009年2月6日提交的第61/202,229号美国临时专利申请之“METHOD FOR GENERATING THREE-DIMENSIONAL MODELS FROM IMAGES”的优先权，其全部内容通过引用结合到本文中。

技术领域

本发明主题涉及图形建模，具体地讲，涉及从图像生成三维模型。

背景技术

在电脑游戏、电影、地图服务、机器人、导航及摄影测量等等的市场驱动下，对于建筑物、城市及景观等等制作高度写实建模之强烈需求应运而生。然而，以常规的方法制作此类型模型，着重于使用大比例尺航空摄影进行城市建模。结果，把建模画面推近至地平面时，其视觉效果将强差人意，因建模会显得模糊并难以描绘细节。更甚者，为提供更佳的用户体验，许多有潜力的应用程序需要高度写实的街头景象，以描绘我们赖以进行日常活动的建筑物。

举例来说，现时的城市建模通常使用Google^TM地球及MicrosoftVirtual Earth(立体)3D平台所提供的空中图像。不过，此类基于空中图像进行的城市图像建模通常没法制作于地面的高度写实模型。作为一种过渡的解决方案，Google^TM街景，MicrosoftLive Street-Side及其它类似服务能显示捕获的具有固定视点的平面(2D)全景式图像，而此类型解决方案亦不足以应付需要使用真正的高度写实立体模型的应用程序，让使用者能与立体环境互动的需求。更甚者，很多现有的从图像生成三维模型方法亦有各种不足之处。

例如，传统的以互动方法从图像生成三维模型需要使用者的大量互动，这在大型的建模工作中并不能轻易得到部署。更进一步的例子是，着重早期的建模管道这种较自动化的方法，于作为图形应用程序的层面上却未能产生令人满意的结果。使得进一步从图像进行城市建模的方法(如单视图方法、交互式多视角法及自动多视角方法等等)亦存在类似或其它缺陷。

以基于图像的建模为例，现有方法使用图像作为指标，用以互动地制作建筑物的模型。比方说，传统的单视图方法可以使用单幅图像加上手动分配深度，基于对绘画的隐喻进行建模。在其它使用手动深度分配(例如以概略方式分配深度)的单幅图像的例子中，则只有有限的规则形状外墙可用于突出特征的重要性，例如建筑环境内的窗户，用以生成楼宇。一般来说，这些方法需要与使用者有大量的互动作用，才可产生让人满意的视觉效果。因此，传统以图像建模的例子会遭遇规模上的问题。然而，较复杂的图像建模方法则有特征需要以手动选择，以及需要对应不同景观的繁琐表示。

譬如一些互动多视点建模例子，可使用图像内的线段特征及多面体区块作为立体原函数，用以互动式配准图像及以与观察点相关的纹理映像方式重现区块。但是，手动选择特征及对应各种需要的视图是琐碎的工序。因此，这种方法会随着输入图像的数量增加而出现规模上的问题。

进一步举例，一个半密集的重建点云可用于操作前方平行墙壁之参考图像并以此提供可接受的建模效果。又举一例，使用配准的多视点和使用消失点提取主要方向，亦可作出良好的建模效果。然而，这些方法仍然涉及与使用者的大量互动，使得此方法于大型城市建模应用之中难以被采用。在一些传统的自动多视点建模方法中，以少量的图像序列进行三维造型的建筑建模方法仍然需要用户提供大量的建筑规则以进行贝叶斯推断。

在图像建模中，已知人造场景的线段特征可用作场景的建模。比如，已配准的图片中稀疏的点可加上线段用作重现楼宇，而线段特征可同时用于运动恢复结构和建模。可惜，线段特征与点相比，往往显得稀疏，在几何层面上也不够稳定。

在其它城市环境建模的传统方法中，系统化的方法在注重于来自己配准的图像中的以密集立体效果作全体重建之余，同时使用利用实时视频配准的视频摄像机。然而，缺乏建筑规范会导致最终的建模结果显得不规则。

很显然，虽然一些传统建模方法的例子能在已提供规则形状的建筑及简单重复的墙壁的情况下，制作可接受的建模；对不规则的建筑特征(例如路边的墙壁)则需要更复杂的技术。其它的例子虽然对不规则背景具有普遍适用性，却仍然因大量的手动互动而难以扩展至大规模建模工程。还有一些例子则需要对模型的参数化和点的对应作出繁琐的手动分配。