[发明专利]一种基于层次主题模型的语义SLAM对象关联方法

说明书

一种基于层次主题模型的语义SLAM对象关联的方法，利用深度学习模型检测关键帧中的物体并预测其位姿，在处理每一帧对象时，根据视角重叠的原则利用吉布斯采样方法采样具有潜在关联对象的真实环境对象集合，为当前帧的每一个物体根据物体关联方法进行计算，根据最大后验概率判断是否关联。对物体、相机和地图点构建因子图，它们之间的观测作为边，优化物体位姿、相机位姿和地图点位置。最后构建一个完整的包含物体信息和相机轨迹的语义地图。本发明能够高精度地实现物体关联，避免了冗余的物体关联；能够促进语义SLAM的相机位姿估计，而优化后的物体位姿能够使得物体关联更准确，从而构建更精确的语义地图。

技术领域

本发明涉及机器人视觉、深度学习、统计学等技术领域，具体一种基于层次主题模型的语义SLAM对象关联方法。

背景技术

Simultaneous localization and mapping(SLAM)是机器人应用中的一个重要的问题，比如自动驾驶、自主导航等领域。构建精准的环境地图是SLAM的具体表现形式，传统的SLAM技术依赖于低级的几何特征，例如点、线、面，这种技术在空旷的或者由重复纹理的环境下容易失效。而语义SLAM利用环境中的高级语义信息，可以有效的弥补传统SLAM的不足，并且能够建立可读的，更具应用价值的语义地图。

物体关联和物体位姿优化是语义SLAM中两个至关重要的组成部分。要建立精确的语义地图，准确的物体关联是前提。准确的物体关联依赖于准确的物体测量，包括物体的类别和位姿。但是实际中，随着机器人的运动，传感器捕获的信息是带有噪声的，仅依靠传感器的信息估计机器人的运动是不可靠的，所以需要多种优化算法的辅助。优化算法是设计一般是基于获取的地标信息和相机之间的几何约束创造的，最大化合理高效的利用已有测量信息是评价优化算法的主要标准。

因此，如何设计一种稳定可靠的语义SLAM中的对象关联方法以及优化方法，使得语义SLAM算法能够构建一个准确的语义地图，是实现有效的语义SLAM需要解决的问题。

发明内容

本发明的目的是为语义SLAM设计一种稳定有效的语义对象关联和优化的方法，解决语义SLAM中的基本问题从而构建准确的语义地图。

为了解决上述技术问题，本发明提供如下的技术方案：

一种基于层次主题模型的语义SLAM对象关联方法，包括以下步骤：

1)对相机进行内参标定得到相机的畸变参数和内参矩阵

其中，[x，y]是归一化平面点的坐标，[x_distorted，y_distorted]是畸变后的坐标，k₁，k₂，k₃，p₁，p₂是畸变项；

P为相机内参矩阵，其中f为相机焦距，[O_x，O_y]为主光轴点；

2)利用Single Shot MultiBox Detector(SSD)和Convolutional NeuralNetwork(CNN)构建深度学习网络，训练深度学习模型，完成物体识别和物体位姿预测任务；

3)基于层次主题模型的语义SLAM是在ORB-SLAM2的基础上改进的，机器人运动过程中，相机会捕捉到一系列的图像I_1：T＝{I₁，...，I_T}，对于每一帧图像I_t，计算相机的位姿x_t以及地图点的三维位置，在此过程中，相机的运动方程表示如下：