[发明专利]一种基于Census变换和局部图优化的RGB-D视觉里程计方法

说明书

本发明涉及一种基于Census变换和局部图优化的RGB‑D视觉里程计方法，包括以下步骤：通过RGB‑D传感器获取环境的彩色和深度图像信息，使用彩色图像计算Census描述图；基于Census描述图，使用直接法对当前帧进行运动估计，计算当前帧与局部图中最新关键帧的相对位姿；对于局部图中梯度信息显著但缺少深度信息的点，在当前帧中进行深度跟踪估计；根据当前帧的位姿估计结果，生成新的关键帧，并插入到局部图中，对局部图进行图优化和关键帧管理操作。本发明使用Census描述图进行直接法运动估计，并结合局部图的优化和管理，提高了视觉里程计在彩色图像亮度发生变化和深度图像深度信息不足时的实时鲁棒性。

技术领域

本发明涉及计算机视觉技术领域，更具体地,涉及一种基于Census变换和局部图优化的RGB-D视觉里程计方法。

背景技术

视觉里程计是通过输入图像序列增量地估计与视觉传感器固定连接的人或物的运动轨迹的方法。相比于传统的惯导和轮式里程计，视觉里程计克服了惯导漂移和轮胎打滑的测量误差问题，无需卫星导航配合,且视觉传感器有功耗小,采集的信息丰富等优点，因而视觉里程计在移动机器人定位和导航领域得到了广泛关注和逐步应用。

目前，视觉里程计的方法主要有特征点法和直接法.特征点法的主要流程是特征点提取，特征点匹配和基于最小化重投影误差(Reprojection error)的帧间位姿估计。特征点法是传统的视觉里程计方法，并已经有了一些成功的应用实例,但是也存在一些问题。特征点法的特征点提取和匹配步骤存在比较耗时和有误匹配的问题,且获取的特征点较为稀疏，当图像有运动模糊、低光照、重复纹理或缺少纹理等情况时.特征点法的准确性会受到较大影响。鉴于特征点法的问题，研究者提出了直接对齐两帧图片的像素亮度值的直接法，直接法通过最小化光度误差(Photometric error)来估计两帧间的位姿。相比于特征点法，直接法不再需要提取和匹配特征点，而是基于两帧图片对应像素点的亮度值不变的假设,通过相机模型直接使用像素点的值构造光度误差,并最小化光度误差估计位姿参数。稠密的直接法会使用图片上所有像素点来计算光度误差，计算量是巨大的，一般视觉里程计中的直接法是半稠密的，也就是只使用有一定梯度信息的像素点来计算光度误差，这样的处理在保持位姿估计的相对准确性的同时让直接法具备了的实时性。直接法在相机运动较小时能得到鲁棒而准确的位姿估计结果，且因较为充分地利用了图像信息，运动模糊，重复纹理和缺少纹理的图像对直接法准确性的影响没有特征点法严重。直接法的主要问题是，进行对齐的两帧图片需要符合亮度不变的假设,图片亮度差异程度决定了直接法的估计结果的准确性。较小的亮度差异下直接法仍能工作，较大的亮度差异下直接法会得到错误的估计结果。

视觉里程计所使用的视觉传感器一般是单目相机，双目相机或RGB-D相机，无论使用这三种相机中的哪一种，都可以基于特征点法或直接法实现视觉里程计.基于纯单目相机的视觉里程计方法较为复杂，在位姿估计的同时还需要重建三维的地图点，且估计得到的位姿和三维点没有绝对尺度，容易出现尺度漂移，需要较好的初始化.双目相机可通过双目立体匹配得到图像场景中像素点的深度值，图像处理工作量大，在昏暗或纹理特征不明显的环境不适用。RGB-D相机能同时获取场景的彩色图像和深度图像，深度图像通过红外结构光或飞行时间法的硬件结构获取，因易受日光影响只能在室内使用，且深度测量的范围受限。基于已有深度的视觉里程计能估计得到含有绝对尺度的运动轨迹，一般没有尺度漂移，位姿估计结果较纯单目更准确。

发明内容

本发明的目的在于克服上述现有技术所述的至少一种缺陷(不足)，提供一种基于Census变换和局部图优化的RGB-D视觉里程计方法,通过使用Census变换提取具有亮度变化不变性的描述图，在此基础上进行鲁棒的直接法位姿估计，并设计局部图的优化管理，解决位姿优化和RGB-D有时采集的深度图像信息不足的问题。

为了实现上述目的，本发明采用的技术方案为:一种基于Census变换和局部图优化的RGB-D视觉里程计方法，其中，包括以下步骤:

S1.通过RGB-D传感器获取环境的彩色和深度图像信息，使用彩色图像计算Census描述图；