[发明专利]一种带有实例分割的SLAM方法

说明书

本发明公开了一种带有实例分割的SLAM方法。该方法利用一个彩色‑深度相机采集图像，利用ElasticFusion SLAM系统和实例分割网络Mask R‑CNN对采集的图像进行处理，在进行实时定位和地图重建的同时，在地图中加入实例信息。该方法突破了传统的SLAM系统只包含几何信息的局限，在原有基础上增加了更高维的实例信息，使得改进后的SLAM系统更加适用于人机交互领域。

技术领域

本发明属于SLAM、深度学习、计算机视觉技术领域，涉及一种带有实例分割的SLAM方法。

背景技术

即时定位与地图构建(SLAM)技术在机器人领域占有举足轻重的地位，近年来，已经发展出了一些可实时运行的SLAM系统，ElasticFusion就是其中的典型代表。然而，传统的SLAM只包含点云的几何信息，包括点云的位置、法向量、颜色等，缺乏一些高层的表征方式。与此同时，随着深度学习的发展，以MaskR-CNN为代表的物体实例分割技术也达到了较高的识别精度，可以广泛应用于物体识别领域。

因此，如何把实例分割技术融入到SLAM系统中成为一个难题，若能成功将诸如实例分割等高层信息于SLAM结合，将给予SLAM更强大的功能，有效扩大SLAM的应用领域。

发明内容

本发明的目的是针对现有技术的不足，提供一种带有实例分割的SLAM方法。

本发明采用如下技术方案：一种带有实例分割的SLAM方法，该方法包括如下步骤：

1.对ElasticFusion SLAM系统的数据结构进行扩充。ElasticFusion中地图的基础组成单位称为面元，对面元增加两个属性：①类别概率分布数组Class，Class是一个长度为N的数组；②实例概率分布数组Instance，Instance是一个长度为M的数组。增加一个计数器以记录地图中现有的实例个数。ElasticFusion SLAM系统开始运行时会首先构建一个不包含任何面元的空地图，并负责将实例个数设置为0。

2.利用彩色-深度(RGB-D)摄像头获取一帧RGB-D图像F_k，输入到扩充后的SLAM系统中。其中下标k代表当前帧的序号，初始帧的下标k＝1，此后每到来一帧，k依次累加。

3.利用ElasticFusion计算F_k对应的相机位姿T_WC(k)，T_WC(k)表示从相机坐标系到世界坐标系的齐次变换矩阵；同时可以得到从世界坐标系到相机坐标系的齐次变换矩阵使用T_WC(k)和相机内参，对F_k中每个像素进行坐标变换并将其融合到三维地图中，融合方式分为两种：

(3.1)若F_k中某一像素在三维地图中没有对应的面元，则在三维地图中增加一面元，其Class和Instance呈均匀分布；

(3.2)若F_k中某一像素在三维地图中已存在对应的面元，则维持地图中对应面元的Class和Instance值不变。

4.将F_k输入到已经训练好的实例分割网络中，得到F_k对应的实例分割结果，其中包含N_ins个实例其中，包含在同一个实例中的所有像素对应同一个长度为N的类别概率分布。

5.使用T_CW(k)和相机内参，将地图中的面元投影到相机的像素平面上，得到投影帧P_k，每个实例内的像素的类别概率分布与P_k中对应像素的类别概率分布相乘并归一化，用归一化后的类别概率分布更新地图中面元的类别概率分布；

6.使用T_CW(k)和相机内参，将更新后的地图中的面元投影到相机的像素平面上，得到投影帧P_k′，从P_k′中提取实例信息，包括以下步骤：