[发明专利]用于大规模确定RGBD相机姿势的方法和系统

说明书

一种确定相机姿势的方法，其包括：使用相机捕获多个图像帧，计算每组图像帧对之间的相对姿势以提供相对姿势集合和未分类的相对姿势集合，以及检测并移除错误分类的相对姿势以提供剩余的相对姿势集合。该方法还包括使用剩余的相对姿势集合来确定全局姿势，并且计算错误分类的相对姿势的至少一部分和未分类的相对姿势集合的至少一部分的扩展的相对姿势以提供扩展的相对姿势集合和扩展的未分类的相对姿势集合。该方法进一步包括检测并移除扩展的错误分类的相对姿势以提供剩余的扩展的相对姿势集合，并且使用剩余的相对姿势集合和剩余的扩展的相对姿势集合来确定多个图像帧的更新的全局姿势。

相关申请的交叉引用

本申请要求于2016年11月20日提交的标题为“用于大规模RGBD姿势估计的方法和系统(Methods and Systems for Large-Scale RGBD Pose Estimation)”的美国临时专利申请No.62/258,316的优先权，其公开内容通过引用整体并入本文目的。

背景技术

3D重建是3D计算机视觉中最受欢迎的主题之一，在绘图、机器人、虚拟现实、增强现实、建筑、游戏、电影制作等领域具有广泛的应用。3D重建系统可以采用RGB(红-绿-蓝)、RGBD(红-绿-蓝-深度)或仅深度格式的图像作为输入，并生成图像的3D表示，例如3D网格。在3D重建系统的处理过程中，关键组成之一是姿势估计：恢复与每个输入图像相关联的每个相机姿势。相机姿势可以包括相机的焦距、位置和/或旋转方向和角度。

最近，凭借诸如Kinect、Google Tango和Intel Realsense低成本RGBD传感器的可用性，利用这样的可用设备能够轻松捕获RGBD图像并将其用于3D重建。

然而，为了重建高质量的3D网格，准确度要求非常高。相机姿势应该是全局和本地一致的。然而，目前的技术无法为大规模场景的RGBD图像的姿势估计提供鲁棒而准确的端到端框架解决方案。

发明内容

本发明通常涉及用于确定作为时间的函数的相机的位置和方位(即姿势)的方法和系统。更具体地，本发明的实施例提供用于至少部分地基于图像帧之间的相对相机姿势来确定全局参考系中的相机姿势的方法和系统。本发明适用于计算机视觉和3D重建中的各种应用。

根据本发明的实施例，提供了一种确定多个图像帧的相机姿势的方法。该方法包括使用相机捕获多个图像帧，计算每组图像帧对之间的相对姿势以提供相对姿势集合和未分类的相对姿势集合，以及从相对姿势集合中检测并移除错误分类的相对姿势以提供剩余的相对姿势集合。该方法还包括使用剩余的相对姿势集合来确定多个图像帧的全局姿势，并且计算至少一部分错误分类的相对姿势和至少一部分未分类的相对姿势集合的扩展相对姿势以提供扩展相对姿势集合和扩展未分类的相对姿势集合。该方法进一步包括从扩展的相对姿势集合中检测并移除扩展错误分类的相对姿势以提供剩余的扩展的相对姿势集合，并且使用剩余的相对姿势集合和剩余的扩展的相对姿势集合来确定多个图像帧的更新的全局姿势。

根据本发明的另一实施例，提供了一种非瞬态计算机可读存储介质，其包括在计算机可读存储介质上有形地体现的多个计算机可读指令，这些计算机可读指令在由数据处理器执行时确定多个图像帧的相机姿势。多个指令包括使得数据处理器使用相机捕获多个图像帧的指令，使得数据处理器计算每组图像帧对之间的相对姿势以提供相对姿势集合以及未分类的相对姿势集合的指令，以及使得数据处理器从相对姿势集合中检测并移除错误分类的相对姿势以提供剩余的相对姿势集合的指令。该多个指令还包括使得数据处理器使用剩余的相对姿势集合来确定多个图像帧的全局姿势的指令，以及使得数据处理器计算至少一部分错误分类的相对姿势和至少一部分未分类的相对姿势集合的扩展相对姿势以提供扩展相对姿势集合和扩展的未分类的相对姿势集合的指令。多个指令进一步包括使得数据处理器从扩展的相对姿势集合中检测并移除扩展的错误分类的相对姿势以提供剩余的扩展的相对姿势集合的指令，以及使得数据处理器使用剩余的相对姿势集合和剩余的扩展的相对姿势集合来确定多个图像帧的更新的全局姿势的指令。