[发明专利]使用遮挡来检测并跟踪三维对象

说明书

背景

在增强现实（AR）应用中，真实世界对象被成像并连同计算机生成的信息（诸如图像或文本信息）一起显示在屏幕上。在AR中，检测并跟踪所成像的真实世界对象以确定相机相对于该对象的位置和定向（姿态）信息。这一信息被用来正确地呈现要与该真实世界对象一起显示的图形对象。被检测并跟踪的真实世界对象一般是二维（2D）对象。与检测并跟踪2D表面相比，检测并跟踪三维（3D）对象在算法上更加复杂并且在计算上非常昂贵。在台式计算机上，通常通过根据对象的几何形状来识别整个3D对象来执行完整的3D跟踪。由于移动平台（如智能电话）上有限的处理能力，没有针对移动平台的完整3D对象跟踪解决方案。然而，3D对象检测和跟踪在AR应用中仍然是重要的目标，以构建围绕真实世界中的3D对象（而非只是2D图像或平面）的引人注目的用户体验。因而，需要一种用于检测并跟踪3D对象的改进方式。

概述

移动平台使用3D对象对2D表面的遮挡来检测并跟踪3D对象。为了检测并跟踪3D对象，捕捉并显示其上带有3D对象的2D表面的图像，并且检测并跟踪移动平台相对于该2D表面的位置。检测对2D表面上的被指定为感兴趣区域的区域的遮挡。基于预定义的形状或通过使用2D表面的被遮挡的区域的形状连同移动平台相对于2D表面的位置以计算该形状，来确定3D对象的形状。可以执行相对于3D对象在2D表面上的位置的任何所需动作，如基于2D表面的感兴趣区域的位置和3D对象的形状来在所显示的3D对象上或其附近呈现并显示图形对象。

附图简述

图1A和1B分别示出了能够使用对2D表面的遮挡来检测并跟踪3D对象的移动平台的前侧和背侧。

图2示出了以横向模式把持的移动平台的前侧，显示了2D检验表面和3D管状对象的所捕捉的图像。

图3是用移动平台使用对2D表面的遮挡来检测并跟踪3D对象的流程图。

图4示出了所成像的2D检测表面的俯视图，其中两个区域被指定为“感兴趣区域”。

图5示出了捕捉2D表面和3D对象的图像的移动平台的侧视图，并且3D对象基于3D对象的形状和移动平台相对于2D表面的姿态来遮挡2D表面的区域。

图6示出了2D方格表面的俯视图，示出了2D表面的一区域被3D对象所遮挡。

图7示出了以横向模式把持的移动平台的前侧，显示了2D检验表面和3D管状对象的所捕捉的图像连同所呈现和显示的图形对象。

图8是能够使用对2D表面的遮挡来检测并跟踪3D对象的移动平台的框图。

详细描述

图1A和1B分别示出了能够使用对2D表面的遮挡来检测并跟踪3D对象的移动平台100的前侧和背侧。图1A和1B中的移动平台100被示为包括外壳101、显示器102，显示器102可以是触摸屏显示器。移动站100还可包括扬声器104和话筒106，例如在移动平台100是蜂窝电话的情况下。移动平台100还包括用于对环境进行成像的前向相机108，它被显示在显示器102上。移动平台100还可包括运动传感器110，如加速度计、陀螺仪等，它可被用来辅助确定移动平台100的姿态（或等效地确定相机108的姿态），移动平台100可具有与运动传感器110的已知/经校准位置关系。移动平台100的姿态也可以或另选地使用基于视觉的跟踪技术来确定。应该理解，移动平台100可以是任何便携式电子设备，诸如蜂窝或其他无线通信设备、个人通信系统（PCS）设备、个人导航设备（PND）、个人信息管理器（PIM）、个人数字助理（PDA）、笔记本计算机、相机或能够进行增强现实（AR）的其他合适的移动设备。

图2示出了以横向模式把持的移动平台100的前侧。显示器102被示为显示真实世界2D方格表面120的图像，其中真实世界3D管状对象122在表面120上。如果需要，显示器102也可以显示计算机呈现的图形对象。使用相机108（图1B）来产生真实世界对象，而任何AR对象是计算机呈现的对象（或信息）。移动平台100基于在已知位置处对2D表面120的遮挡和3D对象的所确定的形状来检测并跟踪3D对象122。因此，不要求移动平台100直接检测并跟踪3D对象，从而提高了计算效率，这转化为改进的帧率和电池使用。