[发明专利]捕捉运动场景的设备、装置和系统

说明书

本申请涉及捕捉运动场景的设备、装置和系统。本发明的实施例描述了与对象和/或环境的数据捕捉有关的装置、系统以及方法。在一个实施例中，用户可以使用一个或多个便携式数据捕捉设备来捕捉带时间索引三维（3D）深度数据，所述便携式数据捕捉设备可以用深度信息、位置和定向数据来捕捉场景的带时间索引颜色图像。另外，数据捕捉设备还可被配置成捕捉在数据捕捉设备周围的环境的球面视图。

本申请是国家申请号为201380058430.2的发明专利申请的分案申请，该发明专利申请的申请日为2013年9月10日，发明名称为“使用多设备的环境的多维数据捕捉”。

技术领域

本公开一般地涉及环境或对象的数据捕捉领域，并且特别是真实三维（3D）深度视频。

背景技术

在无数的情况下使用对象或环境的数据捕捉，并且其可以使得处理器能够使用、作用于或操纵所捕捉的数据来创建对象和/或环境的图像。例如，照相机可以捕捉场景的静止二维（2D）图像，并且摄像机可以捕捉视频数据（即，随时间推移的2D数据）以用于稍后编辑和显示。另外，可以使用聚焦在对象周围的多视图立体2D图像来模拟对象的3D图像。可以用来模拟3D图像的数据捕捉的另一示例涉及到光检测与测距（LiDAR）（也称为激光检测与测距（LADAR））传感器，其一般地被用于对地形或建筑物进行绘图。LiDAR将来自光源的光指引到将光反射回到接收机的表面处。LiDAR系统然后将基于光的往返时间（称为“飞行时间”（TOF）数据）来计算从光源到表面的距离。这样，可以用LiDAR系统来捕捉关于环境中的对象的距离或深度的数据。LiDAR通过跨环境扇出或用脉冲发射其射束并测量用于将光反射回到LiDAR系统中的接收机的每个对象的飞行时间来收集数千个数据点。LiDAR仅能确定将光反射回到接收机的对象的深度，而不能检测关于颜色的图像数据。LiDAR及其它类型的TOF照相机处于在本文称为“深度照相机”的照相机类别中。深度照相机的其它示例包括可以确定深度信息的任何设备，诸如立体照相机、结构光扫描仪或发射电磁（EM）辐射并捕捉被反射回来的辐射的飞行时间的其它设备。

用于捕捉成像数据的现有技术具有限制或缺点。例如，包括胶片、数字摄影以及全景2D摄影（即柱面或立方体交互式全景）的2D文档介质的当前手段在当被用户或观看者访问时传达整体的真实生活体验或事件方面具有限制。2D图像可能具有优良的分辨率和颜色，但不具有与图像相关联的深度信息。

可以以各种方式来创建模拟3D图像。通常，使用两个间隔开的透镜来记录图像，其从略有不同的角度记录场景，并且这些图像被提供给人，使得诸如通过使用具有滤色器或不同偏振的眼镜来不同地向每只眼睛呈现该信息。如2D图像的情况一样，颜色和分辨率可以是极佳的，并且这些立体图像的3D效果可以是引人注目的，然而，此类系统仍缺少收集场景的深度信息的能力。

可将由深度照相机捕捉的信息与2D照相机的图像数据组合以提供模拟3D且包含深度信息的图像。例如，可将LiDAR图像与来自重叠2D图像的数据组合以用深度数据来模拟3D图像——亦即，该图像数据包含图像中的对象距离的信息，并且具有计算图像中的对象的尺寸和相对间距的能力。

无论是立体照相机还是与2D照相机组合的深度照相机，当前3D成像系统都使用单个照相机，其在给定时间记录单个视点（POV）以收集表示单个静态时刻的数据。使用单个照相机可以导致所收集3D数据中的间隙。例如，从单个角度捕捉具有树的场景的单个照相机不能捕捉在树后面的东西。用于在用单个照相机来捕捉场景时减少数据间隙的当前方法要求记录单个照相机视点并将照相机重新定位多次的冗长过程。一旦通过用单个照相机进行的重新定位和捕捉的多个会话来捕捉场景，则必须有广泛的辅助后处理以对多次扫描进行配准并组织所捕捉的数据。除要求大量的时间（由于例如所使用的算法和大量的数据）之外，此类后处理一般地要求广泛的用户输入和用户的技术知识。

除组织用这些3D照相机捕捉的数据所要求的广泛后处理之外，可能要求附加后处理以便再现数据，包括通过数字模型配置的数字图形内插、矢量化和/或图像模型构建。