[发明专利]单目相机实时三维捕获和即时反馈的方法和系统

说明书

使用具有相机的便携式电子设备形成对象的三维表示。可以处理利用相机捕获的一系列图像帧以生成关于该对象的三维信息。该三维信息可用于将作为实时反馈的对象的视觉表示呈现给用户，其指示对象的区域的三维信息的置信度。反馈可以是基于从图像帧导出的视觉特征而得到的三维信息所导出的三维模型中的表面的合成图像。三维信息可以以多种方式使用，包括作为三维打印机的输入或作为全部或部分地表示用于游戏或其他目的的化身的输入。为了能够在便携式设备上执行处理，可以选择一部分图像帧以更高的分辨率进行处理。

相关申请交叉引用

在35 U.S.C§119下，本申请要求以下美国临时申请的权益，其于2015年12月31日提交，名称为“A METHOD AND SYSTEM FOR REAL-TIME 3D CAPTURE AND LIVE FEEDBACKWITH MONOCULAR CAMERAS”，申请号为62/273,821；其全部内容通过引用并入本文。

背景技术

基于RGB立体[15、22、24]或红外立体系统[20-23]的硬件三维相机可在市场上买到。除了众所周知的离线处理方法[3、8]之外，它们还能够以高帧率和低计算量提供密集的深度图，以使得能用户体验实时三维重建[17、18、20、22]。

另一方面，利用智能手机的内置摄像头的单目方法已经展示了一种通向空间摄影的替代路径。然而，这些方法通常依赖于在捕获期间具有很少反馈或没有反馈的方法，因此与硬件三维相机相比，产生低性能和低质量的结果。使用基于云的处理或引导捕获方法生成的三维模型仅在捕获过程完成后才可用，它们在其使用领域中非常有限并且导致不期望的结果。

附图说明

图1是说明从捕获到后处理，交互式配置和输出为数字三维模型、三维打印机或动画文件的示例性关键工作流程的流程图。

图2是说明实时三维跟踪、重建和反馈的示例性方法的流程图。

图3是更详细地说明示例性方法实时三维跟踪的流程图。

图4是概念性地说明通过处理具有更高或更低分辨率的图像帧来实现的“金字塔等级”的草图。

图5A和5B以图形方式说明了通过在金字塔等级2(图5A)与等级1(图5B)处进行处理而产生的深度图，其中等级1比等级2具有更高的分辨率。

图6A-6E是说明引导用户移动电话以收集数据的过程的图像，该数据增加了针对图像的多个部分的深度信息的置信度，其中图6A表示对象的照片，图6B-6D表示信息捕获过程的连续阶段(其中附加的深度信息被捕获)，以及图6E说明了具有从三维模型渲染的深度和颜色信息的完成图像。

图7A-7C说明了三维图像信息与模型的合并，其中图7A说明了人的模型，图7B和7C说明了将三维图像信息与模型进行合并。

具体实施方式

发明人已经认识并理解，用于创建三维图像的已知系统具有阻碍大众市场采用的若干限制，例如显著的额外物料清单成本、增加的电池消耗、对移动设备的更大形状因子的要求、在普通光线条件下(例如明亮的阳光)性能有限、短距离或远距离性能有限。

该申请描述了使三维扫描广泛可用的技术。实施例可以在具有相机的便携式电子设备中实现。出于说明的目的，智能手机用作这种便携式电子设备的示例。如本文所述的处理技术可以使用相对少量的处理能力将描绘对象的图像帧组合成该对象的三维图像，使得便携式电子设备的处理器可以足够快地执行处理以便可以使用足够的图像信息实时地构造三维图像以允许用户看到该对象的哪些部分已被充分扫描以及哪些部分需要获取额外的图像信息。例如，“关键帧”(如下所述)可以在大约300-600ms内被处理，而关键帧之间的帧可以在大约10-50ms内被处理。作为具体示例，可以使用市场上能够买到的智能手机处理器在约500ms内处理关键帧，在约20ms内处理其他帧。以该速度进行处理使得能够在用便携式电子设备正在扫描对象时该对象的可视化被实时呈现。