[发明专利]用于3D重构的相机姿态估计

摘要

描述了用于3D重构的相机姿态估计，例如使在环境中移动的深度相机的位置和定向能够被跟踪以用于机器人技术、游戏和其他应用。在各种实施例中，来自移动深度相机的深度观测将与环境的3D模型的表面进行对准，以找出促进该对准的移动深度相机的经更新位置和定向。例如，移动深度相机在环境中四处移动以构建可能被存储为3D模型的对该环境中各表面的3D重构。在各示例中，对移动深度相机的姿态的初始估计被获得且随后通过使用并行优化过程被实时更新。

主权项

一种实时相机跟踪的方法，包括：从正在移动的移动深度相机接收深度图帧的序列，每一深度图帧包括每一图像元素处的深度值，所述深度值与从所述移动深度相机到由所述移动深度相机所捕捉的环境中的表面的距离有关；访问所述环境中表面的3D模型；通过根据所述深度图帧的图像元素与所述环境的3D模型中所描绘的表面的对准，为多个深度图帧中的每一个深度图帧计算所述移动深度相机的经更新的位置和定向，来跟踪所述移动深度相机的位置和定向，所述对准至少部分基于下述项之一：表示相机姿态配准参数向量的函数的能量等于对各图像元素在当前姿态估计所变换的当前图像元素的位置处由所述3D模型给出的截短有符号距离的平方之和的一半的能量函数；或表示相机姿态配准参数向量的函数的能量等于对各图像元素的以下差值的平方的总和的能量函数：先前帧的图像元素的视图空间中的3D点的深度分量乘以从所述先前帧的视图空间到当前帧的视图空间的刚性变换与当前帧的图像元素的视图空间中的3D点之间的差值，给定表示3D视图空间坐标到2D图像坐标的投影的函数；其中所述3D视图空间坐标由所述先前帧的图像元素的对应深度值乘以从所述先前帧的视图空间到所述当前帧的视图空间的刚性变换给出。