[发明专利]基于语义SLAM的动态环境相机位姿估计及语义地图构建方法

权利要求书

1.一种基于语义SLAM的动态环境相机位姿估计方法，其特征在于，该方法包括：

步骤S10，通过RGB-D相机获取设定帧数的室内环境彩色图像、深度图像，并基于时间戳匹配图像，获得彩色图像序列、深度图像序列；

步骤S20，分别提取彩色图像序列中每一帧的ORB特征点，获得第一特征点集；通过深度神经网络Mask R-CNN对所述彩色图像序列逐帧进行实例分割，获得各帧彩色图像的实例分割结果；所述实例分割结果包括彩色图像的语义mask以及各物体的物体类别、位置框；

步骤S30，基于各物体的先验运动权重、基础运动判定阈值，分别获取各类别物体的运动判定阈值，结合所述彩色图像的语义mask以及各物体的物体类别、位置框，获取处于运动状态的目标物体，并剔除对应的第一特征点集中目标物体的特征点，获得第二特征点集；

步骤S40，将所述第二特征点集中当前帧与前一帧的特征点进行特征匹配，结合非线性优化方法，获取全局最优相机位姿序列。

2.根据权利要求1所述的基于语义SLAM的动态环境相机位姿估计方法，其特征在于，步骤S30包括：

步骤S31，基于各物体的先验运动权重、基础运动判定阈值，分别获取各类别物体的运动判定阈值；通过L-K光流法对当前帧与前一帧进行光流跟踪，获得当前帧匹配点集、前一帧匹配点集；

步骤S32，计算所述当前帧匹配点集、前一帧匹配点集之间的基础矩阵，并分别结合各物体的运动判定阈值通过极线约束法判断当前帧中的每一个物体是否处于运动状态，获得运动目标；

步骤S33，剔除所述第一特征点集中处于所述运动目标对应的位置框内且对应的语义mask类别与物体类别一致的特征点，获得第二特征点集。

3.根据权利要求2所述的基于语义SLAM的动态环境相机位姿估计方法，其特征在于，步骤S32包括：

步骤S321，计算所述当前帧匹配点集、前一帧匹配点集之间的基础矩阵；对于当前帧中任一物体，若其先验运动权重为0，则该物体为非运动目标；否则跳转步骤S322；

步骤S322，判断当前帧匹配点集中位于所述物体对应的位置框内的每一个匹配点在语义mask的类别与物体类别是否一致，并保留类别一致的匹配点作为当前目标前景点；

步骤S323，以当前目标前景点中每一个点与其在前一帧图像中对应的点作为匹配点对，结合所述基础矩阵，计算当前目标前景点中每一个匹配点在当前帧中的极线，并计算该匹配点到极线的距离；

步骤S324，判断所述距离是否大于该点所属目标物体的运动判定阈值，若是，则该匹配点为当前目标物体动态匹配点；

步骤S325，若当前目标物体动态匹配点在当前目标前景点中的比例大于设定阈值，则该目标物体处于运动状态，获得运动目标。

4.根据权利要求3所述的基于语义SLAM的动态环境相机位姿估计方法，其特征在于，所述极线，其计算方法为：

其中，L代表在第i帧图像中对应的极线；F代表第i帧匹配点集、第i-1帧图像匹配点集之间的基础矩阵；代表第i帧图像中第k个前景点在第i-1帧图像中对应的匹配点，为在第i-1帧图像上的齐次坐标，代表以向量形式表示的极线的三个分量。

5.根据权利要求3所述的基于语义SLAM的动态环境相机位姿估计方法，其特征在于，步骤S323中“计算该匹配点到极线的距离”，其方法为：

其中，d代表到其对应极线的距离，代表第i帧图像中第k个前景点，代表在第i-1帧图像中对应的匹配点，F为当前帧匹配点集、前一帧匹配点集之间的基础矩阵，X代表极线向量的第一维参数，Y代表极线向量的第二维参数。