[发明专利]用于3D重构的相机姿态估计

权利要求书

1.一种实时相机跟踪的方法，包括：

从正在移动的移动深度相机接收深度图帧的序列，每一深度图帧包括每一图像元素处的深度值，所述深度值与从所述移动深度相机到由所述移动深度相机所捕捉的环境中的表面的距离有关；

访问所述环境中表面的3D模型；

通过根据所述深度图帧的图像元素与所述环境的3D模型中所描绘的表面的对准，为多个深度图帧中的每一个深度图帧计算所述移动深度相机的经更新的位置和定向，来跟踪所述移动深度相机的位置和定向，所述对准至少部分基于下述项之一：

表示相机姿态配准参数向量的函数的能量等于对各图像元素在当前姿态估计所变换的当前图像元素的位置处由所述3D模型给出的截短有符号距离的平方之和的一半的能量函数；或

表示相机姿态配准参数向量的函数的能量等于对各图像元素的以下差值的平方的总和的能量函数：先前帧的图像元素的视图空间中的3D点的深度分量乘以从所述先前帧的视图空间到当前帧的视图空间的刚性变换与当前帧的图像元素的视图空间中的3D点之间的差值，给定表示3D视图空间坐标到2D图像坐标的投影的函数；其中所述3D视图空间坐标由所述先前帧的图像元素的对应深度值乘以从所述先前帧的视图空间到所述当前帧的视图空间的刚性变换给出。

2.如权利要求1所述的方法，其特征在于，包括通过计算将所述深度图帧中的两帧对准的相机姿态来根据所述两帧计算所述移动深度相机的位置和定向的初始估计。

3.如权利要求1或2所述的方法，其特征在于，访问所述表面的3D模型包括访问表示所述环境中的表面的有符号距离函数。

4.如权利要求1所述的方法，其特征在于，包括将图像元素的深度值从深度图帧映射到相对于所述3D模型的模型位置。

5.如权利要求4所述的方法，其特征在于，包括计算来自所述3D模型的模型位置的深度值。

6.如权利要求5所述的方法，其特征在于，包括通过将所述模型位置的深度值与来自深度图帧的对应图像元素的深度值作比较来计算残余。

7.如权利要求5所述的方法，其特征在于，包括使用纹理化硬件来计算所述模型位置的深度值。

8.如权利要求1所述的方法，其特征在于，包括通过使用并行计算设备并行地累积与图像元素的对准有关的量，来计算所述深度图帧的图像元素与所述环境的所述3D模型中所描绘的表面的对准。

9.如权利要求1所述的方法，其特征在于，包括通过使用并行处理单元逐图像元素执行求和运算计算与对准有关的量，来计算所述深度图帧的所述图像元素与所述环境的所述3D模型中所描绘的表面的对准。

10.一种实时相机跟踪器，包括：

通信接口，所述通信接口被安排成从移动的移动深度相机接收深度图帧的序列，每一深度图帧包括每一图像元素处的深度值，所述深度值与从所述移动深度相机到由所述移动深度相机所捕捉的环境中的表面的距离有关；

所述通信接口被安排成访问所述环境中表面的3D模型；

相机姿态引擎，所述相机姿态引擎被安排成通过根据所述深度图帧的图像元素与所述环境的3D模型中所描绘的表面的对准，为多个深度图帧中的每一个深度图帧计算所述移动深度相机的经更新的位置和定向，来跟踪所述移动深度相机的位置和定向，所述对准至少部分基于下述项之一：

表示相机姿态配准参数向量的函数的能量等于对各图像元素在当前姿态估计所变换的当前图像元素的位置处由所述3D模型给出的截短有符号距离的平方之和的一半的能量函数；或

表示相机姿态配准参数向量的函数的能量等于对各图像元素的以下差值的平方的总和的能量函数：先前帧的图像元素的视图空间中的3D点的深度分量乘以从所述先前帧的视图空间到当前帧的视图空间的刚性变换与当前帧的图像元素的视图空间中的3D点之间的差值，给定表示3D视图空间坐标到2D图像坐标的投影的函数；其中所述3D视图空间坐标由所述先前帧的图像元素的对应深度值乘以从所述先前帧的视图空间到所述当前帧的视图空间的刚性变换给出。