[发明专利]一种基于Census变换和局部图优化的RGB-D视觉里程计方法

权利要求书

1.一种基于Census变换和局部图优化的视觉里程计方法，其特征在于，包括以下步骤：

S1.通过RGB-D传感器获取环境的彩色和深度图像信息，使用彩色图像信息计算Census描述图；

S2.基于Census描述图，使用直接法对当前帧进行运动估计，计算当前帧与局部图中最新关键帧的相对位姿；梯度信息显著点为满足梯度信息大于阈值t_g的点；

S3.对于局部图中梯度信息显著但缺少深度图像信息的点，在当前帧中进行深度跟踪估计；

S4.根据当前帧的位姿估计结果，生成新的关键帧，并插入到局部图中，对局部图进行图优化和关键帧管理操作；

所述基于Census描述图，使用直接法对当前帧进行运动估计，计算当前帧与局部图中最新关键帧的相对位姿包括：对当前帧使用直接法进行运动估计，选出局部图中的最新关键帧，基于Census描述图使用直接法估计最新关键帧到当前帧的位姿变换，迭代优化方法为基于金字塔的LK反向相乘算法：记当前帧为I，局部图中的最新关键帧为K，定义直接法运动估计为：

E＝∑_x∈Ωw_x×||D(W(x，T)，I)-D(x，K)||²

T^*＝argmin_T(E)

其中，E为直接法优化目标函数，T为关键帧K到当前帧I的位姿变换，T*为使得目标函数E最小的位姿变换；D()表示根据输入的灰度图片I计算得到8通道的描述图D(I)；W(x，T)为将从K中选出的像素点投影到当前帧的变换：W(x，T)＝π(T*π^-1(x，dx))，其中π(·)为相机投影函数，将像素点从相机坐标系投影到图像平面中；π^-1(·，·)为相机反投影函数，将给定深度值的像素点从图像平面反投影到相机坐标系，w_x为通过迭代重赋权最小二乘方法计算的权重值，Ω为从关键帧K中选出的满足梯度信息阈值t_g且有有效深度值的像素点；直接法迭代估计结束后，如果像素点x的权重w_x大于权重阈值t_w，则认为x在估计中属于良好点，良好点个数占运动估计所用的总像素个数的比例是生成关键帧的判据之一。

2.根据权利要求1所述的基于Census变换和局部图优化的视觉里程计方法，其特征在于，所述使用彩色图像信息计算Census描述图包括：首先将彩色图转化为灰度图，然后基于Census变换计算一幅Census描述图；Census变换的计算方式为，对于灰度图中的每个像素x，将其像素值与局部邻域像素Ne(x)内的所有像素值依次进行大小比较，得到描述向量d(x，I)；

其中局部邻域像素Ne(x)选用8邻域像素，xi表示Ne(x)中的第i个邻域像素，所以Census变换后得到的是一幅8通道的描述图D(I)，并有D(x，I)＝d(x，I)。

3.根据权利要求1所述的基于Census变换和局部图优化的视觉里程计方法，其特征在于，所述对于局部图中梯度信息显著但缺少深度图像信息的点，在当前帧中进行深度跟踪估计包括：局部图由最新的前N个关键帧和帧上的梯度信息显著点组成，其中在深度图中缺少深度图像信息的梯度信息显著点在已估计位姿的当前帧上进行深度跟踪估计；梯度信息显著点为满足梯度信息大于阈值t_g的点，其中用于深度跟踪估计的缺少深度图像信息的梯度信息显著点用非最大值抑制进行过滤，深度跟踪估计的方法是，沿着极线在当前帧中寻找一个最佳的NCC匹配，找到最佳匹配后通过三角化得到对应的深度估计值。