[发明专利]用于不受限制的SLAM的基于传感器的相机运动检测

说明书

相关案件的交叉参考

本申请案是专利合作条约申请案并且主张2014年3月14日递交的标题为“用于不受限制的SLAM的基于传感器的相机运动检测(SENSOR-BASED CAMERA MOTION DETECTION FOR UNCONSTRAINED SLAM)”的第61/953,122号美国临时申请案以及2015年3月12日递交的标题为“用于不受限制的SLAM的基于传感器的相机运动检测(SENSOR-BASED CAMERA MOTION DETECTION FOR UNCONSTRAINED SLAM)”的第14/645,675号非临时申请案的权益和优先权，所述申请案以引用的方式并且出于所有目的全文并入本文中。本申请案还以引用的方式全文并入2014年1月9日递交的且标题为“具有常规及全景相机移动的单眼视觉SLAM”的美国申请案14/151,766。

技术领域

本文中所揭示的标的物通常涉及位置检测并且确切地说涉及同时定位与地图绘制(SLAM)。

背景技术

视觉同时定位与地图绘制(VSLAM)系统可以处理耦合到装置的单个相机的输入并且随着相机的移动连续地累积环境的图(也称为模型)。视觉SLAM系统同时追踪相对于图的装置的位置及定向(姿态)。视觉SLAM系统可以不同模式操作以用于追踪装置并且基于装置的移动构造所述图。举例来说，虽然装置经历包含平移运动的一般运动，但是装置可过渡到一般运动模式并且构造用于一般运动的图。类似地，当装置仅旋转而未从一个位置移动到另一个位置时，装置可切换到仅旋转模式并且构造仅旋转图。

本发明的某些方面论述用于稳健地从仅旋转模式切换到一般运动模式的技术。

发明内容

本文中所揭示的标的物通常涉及相机运动检测并且确切地说涉及同时定位与地图绘制(SLAM)。

本发明的各方面提供用于稳健地检测一般和仅旋转相机运动之间的过渡的技术和对应的全景/3D追踪和地图绘制模式。不正确的过渡可能通过错误地测量的特征破坏3D和全景图并且引起追踪失败。与例如模型选择算法的现有仅视觉方法相比，本发明的各方面可以使用一或多个传感器，包含惯性(陀螺仪、加速计)、磁性(指南针)和视觉(相机)传感器。

本发明的某些方面使用3DOF旋转运动模型在从全景图中追踪相机时检测从仅旋转模式到一般运动模式的过渡。在仅旋转模式时，视觉全景图追踪器将平移运动编码为其旋转运动估计中的额外的虚拟旋转。同时，测量来自运动传感器的旋转。视差角度通过计算可以在确定平移运动中使用的视觉与运动传感器旋转估计之间的差异衍生。可靠地确定视差角度且因此确定平移运动允许触发新3D地图的初始化，其允许全部6DOF中的相机的连续追踪。

本发明的方面描述用于在追踪全景同时定位与地图绘制(SLAM)模式中的装置时检测平移运动的实例方法、设备、非暂时性计算机可读媒体和装置，检测平移运动包含确定装置的基于视觉的旋转运动角度，其中基于视觉的旋转运动角度通过以下项确定：在多个关键帧上执行图像处理；在所述多个关键帧之间确定装置的基于传感器的旋转运动角度，其中基于传感器的旋转运动角度是使用耦合到装置的一或多个运动传感器确定的；确定装置的视差角度，其中视差角度通过比较基于视觉的旋转运动角度与基于传感器的旋转运动角度确定；将视差角度与阈值进行比较；以及基于高于所述阈值的视差角度检测平移运动。在某些方面，运动传感器可以包含陀螺仪、加速计、磁力计、相机或用于检测运动的任何其它合适的传感器。

在某些方面，非暂时性计算机可读储存媒体可以包含可由处理器执行的指令以用于执行如本文所述的同时定位与地图绘制(SLAM)的方面。此外，用于在全景同时定位与地图绘制(SLAM)模式中追踪装置时检测平移运动的装置或设备可以包含用于存储图和其它数据结构的存储器、耦合到装置/设备以用于获得关于物理场景的信息的一或多个相机，以及耦合到存储器并且经配置以执行本文中描述的本发明的方面的一或多个处理器。