[发明专利]一种基于端到端关系网络的视觉SLAM闭环检测方法

权利要求书

1.一种基于端到端关系网络的视觉SLAM闭环检测方法，其特征在于，包括以下步骤：

S1：向VGG16网络中输入视觉传感器采集的先前图像和当前图像；

S2：对先前图像和当前图像的原始数据进行预处理；

所述步骤S2包括以下子步骤：

S21：调整先前图像和当前图像的尺寸为224×224；

S22：将调整大小后的先前图像和当前图像转换为224×224×3的张量；

S23：对转换张量后的先前图像和当前图像进行标准化操作，完成对先前图像和当前图像的原始数据预处理；

S3：通过VGG16网络的5个卷积阶段获取预处理后的先前图像和当前图像的特征，得到多层特征；

所述步骤S3包括以下子步骤：

S31：对VGG16网络的5个卷积阶段进行结构划分：第一卷积阶段和第二卷积阶段均采用卷积+卷积+池化的结构；第三卷积阶段、第四卷积阶段和第五卷积阶段均采用卷积+卷积+卷积+池化的结构；

S32：通过不同的卷积阶段对预处理后的先前图像和当前图像数据提取特征，得到基本特征，其基本特征提取公式为其中，为卷积层l第i个神经元上第j个特征图的输出，为卷积核，b_j为卷积特征图的偏置；激活函数Relu(·)为非线性映射；

S33：通过池化对基本特征进行压缩，得到多层特征，其压缩公式为其中，表示池化过程后的输出，r为池化核的尺寸；

S4：对先前图像和当前图像的多层特征进行加权融合；

所述步骤S4包括以下子步骤：

S41：通过VGG16网络将第三卷积阶段、第四卷积阶段和第五卷积阶的最后一层卷积层定义为conv3_3、conv4_3和conv5_3；

S42：转换conv3_3、conv4_3和conv5_3的尺寸为28×28×256；

S43：对相同大小的conv3_3、conv4_3和conv5_3进行加权融合；其加权融合公式为F＝ω₁F_{conv3_3}+ω₂F_{conv4_3}+ω₃F_{conv5_3}；其中，F_{conv3_3}、F_{conv4_3}和F_{conv5_3}分别表示conv3_3、conv4_3和conv5_3转换后的多层特征，ω_i为多层特征对应的权重，F表示融合三层之后得到的特征；

S5：对先前图像和当前图像融合后的多层特征进行标准化，得到标准特征；

S6：对先前图像和当前图像标准化后的标准特征进行组合，得到组合图像；

所述步骤S6包括以下子步骤：

S61：转换先前图像的标准特征F_std₁和当前图像的标准特征F_std₂的尺寸为256×784，调整其尺寸为448×448；

S62：根据VGG16网络的深度将当前图像和先前时刻图像的标准特征拼接，得到组合图像F_com，其尺寸为448×448×2，并将其作为关系模块的输入，完成先前图像和当前图像标准化后的标准特征组合；

S7：通过CNN关系模块回归得到组合图像的相似性得分，完成闭环检测；

所述步骤S7包括以下子步骤：

S71：设置组合后图像的阈值数值；

S72：通过Relu(·)函数提取F_com中的特征；

S73：根据F_com中的特征，采用Sigmoid(·)函数输出组合后图像的相似性得分数值；

S74：通过比较阈值数值和相似性得分数值的大小，若比较阈值数值大于相似性得分数值，则未发生闭环；若比较阈值数值小于相似性得分数值，则发生闭环；完成闭环检测。

2.根据权利要求1所述的基于端到端关系网络的视觉SLAM闭环检测方法，其特征在于，所述步骤S23中，标准化操作的公式为其中，x代表图像张量，μ代表图像的均值，stddev代表图像的标准方差。