[发明专利]用于3D重构的相机姿态估计

说明书

技术领域

本申请涉及深度相机，更具体而言，本申请涉及用于3D重构的相机姿态估计。

背景技术

对于许多应用，能够当相机在环境中移动时跟踪该相机的定向和位置是有价值的。相机的定向和位置被认为是相机姿态。例如，在机器人技术、车辆导航、计算机游戏应用、医学应用及其他问题领域。以前的方法已涉及使用由移动相机所捕捉的彩色图像，标识那些图像中的诸如线和边缘等特征，以及在相机所捕捉的彩色图像序列中跟踪该信息以尝试并估计相对相机位置。现有方法在精确度、稳健性和速度上受到限制。然而，对于许多应用，需要实时地进行精确的相机跟踪，例如以使得机器人可以成功地在其环境中四处移动。

以下描述的各实施例不限于解决已知相机姿态估计过程的缺点中的任一个或全部的实现。

发明内容

下面呈现了本发明的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，并且不标识本发明的关键/重要元素或描述本说明书的范围。其唯一的目的是以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。

描述了用于3D重构的相机姿态估计，例如使在环境中移动的深度相机的位置和定向能够被跟踪以用于机器人技术、游戏和其他应用。在各种实施例中，来自移动深度相机的深度观测与环境中3D模型的表面进行对准，以找出促进该对准的移动深度相机的经更新位置和定向。例如，移动深度相机在环境中四处移动以构建可能被存储为3D模型的对该环境中各表面的3D重构。在各示例中，对移动深度相机的姿态的初始估计被获得且随后通过使用并行优化过程被实时更新。

通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。

附图说明

根据附图阅读以下具体实施方式，将更好地理解本发明，在附图中：

图1是房间中的持有移动深度相机的人的示意图，该移动深度相机被用于实时相机跟踪并且可任选地还产生该房间的3D模型或图；

图2是正由持有移动深度相机的人探测的建筑物某层的平面视图；

图3是连接到实时相机跟踪系统、密集3D模型形成系统以及游戏系统的移动深度相机的示意图；

图4是示例相机姿态引擎的示意图；

图5是相机姿态引擎处的方法的流程图。

图6是图5中方法的一部分的流程图；

图7示出可以作为图6中方法的一部分使用的诸方法；

图8是作为图6中的过程的一部分计算与残余有关的量的方法的流程图；

图9是示出检查是否达到收敛以供在图5的方法中使用的各方式的示意图；

图10是示出获得对相机姿态配准参数的初始估计的各方式的示意图；

图11示出可在其中实现实时相机姿态估计系统的各实施例的示例性基于计算的设备。

在各个附图中使用相同的附图标记来指代相同的部件。

具体实施方式

下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。

尽管在本文中本示例被描述并示出为使用从发出和捕捉红外光的移动深度相机获得的深度图像在实时相机姿态估计系统中实现，然而所描述的系统是作为示例而不是限制被提供的。本领域的技术人员将会理解，本示例适于在各种不同类型的实时相机跟踪系统中应用，包括但不限于使用从立体相机获得的深度信息的系统和使用通过发出和捕捉其他类型的电磁辐射所获得的深度信息的系统。

术语“图像元素”在本文中用于指代像素、像素组、体素、体素组或图像的其他更高级别的组成部分。

术语“密集3D模型”在本文中用于指示包括物体和表面的三维场景的表示，其中该表示包括与该场景的图像元素有关的细节。相反，非密集3D模型可包括物体的基于多边形或基于点的表示。在一示例中，来自传入深度图的全部或许多点可用于描述环境中的表面(在一些示例中使用有符号距离函数等值面表示)，且该描述形成密集3D模型。稀疏模型会仅取这些点的子集来使计算加速并减少存储器覆盖区域。