[发明专利]一种结合场景文本语义信息的SLAM回环检测方法

权利要求书

1.一种结合场景文本语义信息的SLAM回环检测方法，包括如下步骤：

(1)搭建并训练基于轻量级神经网络的文本检测模型和文本识别模型；

针对SLAM的实时性要求与嵌入式平台计算资源的限制，在EAST模型的基础上进行改进，得到基于轻量级神经网络的文本检测模型，具体地：输入为图片，先使用全卷积网络直接预测出文本信息在图片中对应的区域，在全卷积网络预测得到的区域中，对超过设定阈值的区域再进行非极大值抑制，经非极大值抑制的结果就是模型的最终输出，即图片上的文本框坐标；

所述全卷积网络包括特征提取、特征融合、输出层三部分，其中特征提取部分采用ShuffleNet V2模型，输出四个级别的特征图f₁,f₂,f₃,f₄，大小分别是原图的1/32、1/16、1/8和1/4；所述特征融合部分对ShuffleNet V2模型输出的四个级别的特征图f₁,f₂,f₃,f₄进行逐级特征融合，一共有三个特征融合阶段，在每一个特征融合阶段中，先对从上一个阶段来的特征图进行上采样，使之与当前特征图大小相同，然后使其与当前特征图沿通道方向级联，进而利用一个1×1卷积层减少级联后特征图的通道数以减少计算量，最后用一个3×3卷积层对特征图做信息融合，产生当前特征融合阶段的结果；在最后一个特征融合阶段之后，利用一个3×3卷积层产生最终的特征图，并输入到输出层；三个特征融合阶段中1×1卷积层的通道数分别为1256、244、88，三个特征融合阶段中3×3卷积层的通道数分别为128、1256、32，最后一个特征融合阶段之后的3×3卷积层的通道数为32；

(2)使用单目摄像头采集环境图像，利用文本检测模型对图像中的文本进行检测，输出文本框坐标，并保存文本检测模型特征提取部分第二阶段的特征图输出；

(3)利用文本识别模型对检测到的文本区域进行识别；

(4)由步骤(2)和步骤(3)得到的文本检测结果及识别结果，计算当前帧的特征信息向量和语义信息向量，并通过加权融合得到总信息向量；

对于当前帧，取其在文本检测过程中模型特征提取部分第二阶段的特征图f₂，将其每一个通道进行全局平均池化，得到当前帧的特征信息向量f，f中的每一个元素为特征图f₂中相应通道的平均值；

(5)对于关键帧集合中的任一关键帧，计算其总信息向量与当前帧总信息向量的余弦相似度，取相似度大于一定阈值且不与当前帧直接相邻的关键帧作为回环候选帧；

(6)当出现三个连续相邻的回环候选帧，则判定出现回环。

2.根据权利要求1所述SLAM回环检测方法，其特征在于：所述步骤(1)采用CRNN模型作为基于轻量级神经网络的文本识别模型。

3.根据权利要求1所述SLAM回环检测方法，其特征在于：所述步骤(4)中对于当前帧，通过一个向量来描述其语义信息，记当前帧的语义信息向量为t＝[e₁,e₂,…,e_N]，其中e_i＝[p_i,x_1i,y_1i,x_2i,y_2i]，N表示文本路标的数量，e_i描述第i个文本路标在当前帧中的信息，p_i表示第i个文本路标是否在当前帧中出现，若出现p_i＝1，否则p_i＝0，(x_1i,y_1i)和(x_2i,y_2i)分别为当前帧中第i个文本路标对应文本框的左上角坐标和右下角坐标，这些信息均由经过训练的文本检测模型和文本识别模型输出。

4.根据权利要求1所述SLAM回环检测方法，其特征在于：所述步骤(4)中通过公式s＝λt+f对特征信息向量f和语义信息向量t进行加权融合得到总信息向量s，其中λ为语义信息向量t 所占的权重。

5.根据权利要求1所述SLAM回环检测方法，其特征在于：所述步骤(5)中对于两个总信息向量m和n，通过以下公式计算两者的余弦相似度cos(m,n)；