[发明专利]一种带有实例分割的SLAM方法

摘要

本发明公开了一种带有实例分割的SLAM方法。该方法利用一个彩色‑深度相机采集图像，利用ElasticFusion SLAM系统和实例分割网络Mask R‑CNN对采集的图像进行处理，在进行实时定位和地图重建的同时，在地图中加入实例信息。该方法突破了传统的SLAM系统只包含几何信息的局限，在原有基础上增加了更高维的实例信息，使得改进后的SLAM系统更加适用于人机交互领域。

主权项

1.一种带有实例分割的SLAM方法，其特征在于：所述方法包括以下步骤：(1)对ElasticFusion SLAM系统的数据结构进行扩充。ElasticFusion中地图的基础组成单位为面元，对面元增加两个属性：①类别概率分布数组Class，Class是一个长度为N的数组；②实例概率分布数组Instance，Instance是一个长度为M的数组。增加一个计数器以记录地图中现有的实例个数。ElasticFusion SLAM系统开始运行时会首先构建一个不包含任何面元的空地图，并负责将实例个数设置为0。(2)利用彩色‑深度(RGB‑D)摄像头获取一帧RGB‑D图像F_k，输入到扩充后的SLAM系统中。其中下标k代表当前帧的序号，初始帧的下标k＝1，此后每到来一帧，k依次累加。(3)利用ElasticFusion计算F_k对应的相机位姿T_WC(k)，T_WC(k)表示从相机坐标系到世界坐标系的齐次变换矩阵；同时可以得到从世界坐标系到相机坐标系的齐次变换矩阵使用T_WC(k)和相机内参，对F_k中每个像素进行坐标变换并将其融合到三维地图中，融合方式分为两种：(3.1)若F_k中某一像素在三维地图中没有对应的面元，则在三维地图中增加一面元，其Class和Instance呈均匀分布；(3.2)若F_k中某一像素在三维地图中已存在对应的面元，则维持地图中对应面元的Class和Instance值不变。(4)将F_k输入到已经训练好的实例分割网络中，得到F_k对应的实例分割结果，其中包含N_ins个实例其中，包含在同一个实例中的所有像素对应同一个长度为N的类别概率分布。(5)使用T_CW(k)和相机内参，将地图中的面元投影到相机的像素平面上，得到投影帧P_k，每个实例内的像素的类别概率分布与P_k中对应像素的类别概率分布相乘并归一化，用归一化后的类别概率分布更新地图中面元的类别概率分布；(6)使用T_CW(k)和相机内参，将更新后的地图中的面元投影到相机的像素平面上，得到投影帧P_k′，从P_k′中提取实例信息，包括以下步骤：(6.1)使用argmax函数得到P_k′中每个像素对应的最大的实例概率；(6.2)若最大的实例概率<0.3，判定它不属于任何实例；(6.3)若最大的实例概率≥0.3，则该像素被归到最大实例概率对应的实例中，需要参与后续IOU的计算。(7)针对第i个实例构建长度为M的数组IOU_i，IOU_i[j]表示与P_k′中实例j的交并比，若P_k′中不含有实例j，则IOU_i[j]＝0.01。若IOU_i中最大值<0.3，则在地图中增加一个实例，使实例个数变为NUM；更新IOU_i，使得其中的IOU_i[NUM]＝0.7；将内的每个像素的实例概率分布与IOU_i相乘并归一化，用归一化后的实例概率分布更新地图中面元的实例概率分布；(8)不断利用下一帧RGB‑D图像，按照步骤(3)将RGB‑D图像融合到三维地图中，利用(4)‑(5)所述的方法更新该帧所对应面元的类别概率分布，按照步骤(6)‑(7)所述的方法更新该帧所对应面元的实例概率分布，从而获得最新的带有实例分割的三维地图。