[发明专利]一种结合全局和局部特征的鲁棒回环检测方法

权利要求书

1.一种结合全局和局部特征的鲁棒回环检测方法，其特征在于，包括以下步骤：

步骤一、获取两个场景的RGB-D图像；

步骤二、根据所述RGB-D图像获得如下多维特征信息：

根据RGB图像生成灰度图，根据深度图获得深度信息；

基于灰度图像计算梯度分布，获得图像的梯度轮廓信息；

基于深度图计算每个像素点的法向量，根据法向量相对于三维坐标的角度统计法向量的分布信息；

步骤三、根据所述多维特征信息通过神经网络获取全局特征；

步骤四、通过特征点检测方法检测特征关键点，根据关键点划定局部区域；

步骤五、对于每个所述特征关键点x_k，通过下式计算其局部区域内的邻域点x_i相对于所述x_k的像素强度关系m_v：

其中，G(x)表示在像素点x处的像素强度值；

步骤六、通过下式计算所述x_i相对于所述x_k的曲率特征关系m_c：

其中，τ()表示曲率，通过下式计算：

τ(x_k，x_i)＝S(x_k)-S(x_i)，N(x_k)-N(x_i)

其中，a，b表示a与b做点积运算，S(x)表示x点处对应的3D空间点，N(x)表示x点处对应的法向量；

步骤七、通过下式计算所述x_i相对于所述x_k的共面性特征关系m_p：

其中，ρ为预设的表征两个点近似在一个平面上的阈值；

步骤八、对所述x_k计算局部特征：

基于步骤五、步骤六和步骤七得到的特征关系m_v、m_c和m_p，局部区域中邻域像素点相对于中心关键点的相对特征关系用m_v、m_c和m_p表示，从而形成一个数组，即[m_v m_c m_p]；然后将m_v、m_c和m_p进行交叉组合，并为每个组合结果分配一个标签，共有8种类型的标签，分别为：000、001、010、011、100、101、110和111；由其构成8维度的向量作为所述x_k的局部特征，其每个标签对应的数值为所述x_i为该值的个数；

步骤九、结合全局特征和局部特征通过下式计算回环度量Loop：

Loop＝λ||L₂||+(1-λ||L_cos||)；

其中，λ表示全局特征和局部特征的平衡参数，||L₂||表示所述两个场景的全局特征距离，||L_cos||表示所述两个场景的局部特征距离；

若Loop大于预设阈值th，构成了回环；反之，不构成回环。

2.根据权利要求1所述的方法，其特征在于，如果所述RGB-D图像的深度图不可用，根据其前后几个RGB图像填充深度信息，获得完整且可用的深度图。

3.根据权利要求1所述的方法，其特征在于，所述梯度分布通过Sobel运算符计算。

4.根据权利要求1所述的方法，其特征在于，所述神经网络为孪生网络。

5.根据权利要求1所述的方法，其特征在于，所述特征点的检测采用ORB、SURF或SIFT关键点检测器。

6.根据权利要求1-5任一所述的方法，其特征在于，对于某个所述特征关键点x_k，所述局部区域大小是以x_k为中心，大小为r×r的区域。