[发明专利]利用概率面元地图的密集视觉SLAM

说明书

公开了用于密集视觉SLAM的称为概率面元地图（PSM）的地图表示。PSM维护全局一致地图，其具有经编码的光度测定和几何不确定性二者，以便解决不一致性和传感器噪声。本文中所公开的视觉SLAM方法的关键方面是对PSM中编码的光度测定和几何不确定性进行恰当的建模和更新。公开了用于应用PSM来用于改善前端姿态估计和后端优化二者的策略。此外，PSM使得能够生成密集的点云。

本申请要求于2017年7月20日提交的、序列号为62/535,038的美国临时申请的优先权权益，所述申请的公开内容通过引用以其全部被并入本文中。

技术领域

本文档中所公开的设备和方法涉及图像处理，并且更具体地涉及密集视觉SLAM（同时定位和地图构建）方法。

背景技术

除非在本文中另行指示，否则在本章节中所描述的材料不是对于本申请中的权利要求的现有技术，并且不通过包括在本章节中而被承认为是现有技术。

三维（3D）定位追踪是对于在增强现实应用中将虚拟和现实世界对准在一起而言所需要的基本技术之一，但是也可应用于许多其它有用的应用。视觉SLAM（同时定位和地图构建）是用于重构相机轨迹和环境的主导技术，尤其是在不存在关于环境的任何先验认知的情况中。视觉SLAM系统典型地由前端和后端组成。视觉测程法是估计每帧相机姿态的前端，其在增强现实应用中对于将虚拟对象与现实世界无缝地对准而言是必需的。通常，在后端中，通过全局优化来细化相机姿态。一些方法还重构环境的模型，所述模型还可以进一步用于许多其它目的，诸如3D地图构建、基于物理的模拟以及动画。多数现有的视觉SLAM技术可以基于后端地图信息如何被维护以及用于前端姿态估计而被分组成两个类别——帧对帧以及帧对模型途径。

帧对帧途径典型地是基于关键帧的，并且依赖于在帧与关键帧之间的姿态-姿态约束来进行姿态估计（例如DVO和σ- DVO）。具体地，在视觉测程法期间标识关键帧的集合。针对与关键帧相关联的每个帧，关于该关键帧来计算相对的相机姿态。当检测到环路闭合的时候，当前关键帧可以与先前关键帧相关联以创建更多的姿态-姿态约束。考虑所有的帧，可以构造姿态图，其表示跨帧的姿态-姿态约束。然后，可以执行姿态图优化以细化每个帧的相机姿态。然而，帧对帧途径不维护场景的全局表示（例如点云）并且遭受累积的相机漂移。

在帧对模型途径、诸如PTAM、KinectFusion和ElasticFusion中，通常维护并且更新场景的全局地图。普及的地图表示包括点云、面元云、以及体积场。这些途径可以提供环境的准确模型。然而，典型地以帧对模型方式来执行相机姿态估计，在所述帧对模型方式中仅仅考虑在全局地图与当前帧观测之间的姿态-点约束。通常，执行后端优化来在具有姿态-点约束的情况下仅仅优化关键帧姿态和全局点云，这意味着从不优化在关键帧之间的其它帧。一些帧对模型途径完全不执行任何形式的全局优化。因此，最终相机轨迹的准确性受限制。对于仅仅维护稀疏点云的途径而言，生成准确的密集网格是非常有挑战性的。此外，使用密集地图表示、尤其是体积表示的途径典型地遭受低空间分辨率，并且严重依赖于GPU加速。

RGBD密集视觉SLAM途径近年来已经在稳健性和准确性方面示出了其优势。然而，仍存在若干挑战，诸如在跨多个帧的RGBD测量方面的传感器噪声以及其它不一致性，其可能危害相机轨迹和场景重构二者的准确性。将有益的是提供一种密集视觉SLAM方法，其恰当地计及传感器测量方面的传感器噪声和其它不一致性。将进一步有利的是，所述方法以高效的方式利用姿态-姿态以及姿态-点约束二者以用于后端优化。

发明内容