[发明专利]一种同步定位和地图构建中物体的快速识别方法

权利要求书

1.一种同步定位和地图构建过程中物体的快速识别方法，包括如下步骤：

(1)在同步定位和地图构建过程中，在初始化地图的同时进行深度神经网络模型对画面进行物体识别，并保存识别结果及其对应地图点信息；所述深度神经网络模型识别的结果为物体标签和物体二维包围盒，对应的地图点为包围盒映射到地图中所包围的地图点，地图点指的是同步定位和地图构建过程中画面上出现的图像特征点中被多帧连续观察到之后通过多帧画面确定其三维位置的点；找到对应地图点后为这些地图点加上物体ID标签；识别该物体后将该物体的图像特征向量保存到物体图像检索数据库，为其建立用于图像检索的索引；其中，所述图像特征向量为从深度物体识别神经网络模型推理结果中取得；

(2)在初始化完毕后的运行过程中，若理论上应当出现在画面的物体，在该画面中检测不到可以与之匹配的地图点，则认为物体发生了移动，并且是移动到了画面外；所述理论上应当出现，指的是物体在第一次被识别后所处的位置被记录到地图中，运行过程中该位置再次出现在画面中；此时若该物体位置未发生变动，且定位过程未发生较大偏移，则该物体将被画面捕捉到；检测不到可以与之匹配的地图点指的是将地图点的特征描述子与画面中该物体所在位置的图像特征点描述子进行特征点匹配过程，在匹配后发现两组特征描述子的匹配程度未达到一定阈值；此时更新地图点，删去原物体地图点，并在物体信息中标记失去该物体的位置；

(3)在初始化完毕后的运行过程中，若某个理论上应当出现在画面中的物体，在地图中可以找到与之匹配的地图点，但是根据这些地图点所计算得到的相机位姿与其它物体不一致时，则认为物体发生了移动，并且移动后仍然出现在画面内；在一帧画面中，使用该物体所对应特征点计算得到一个相机位姿，使用除该物体外其他特征点计算得到另一个相机位姿，在算法结果未发生较大误差的情况下，若两个相机位姿差别较大，则认为该物体与画面中其他特征点所代表的地图元素的相对位置发生了改变，若画面中其他特征点代表了地图中静态的背景，则认为物体的位置发生了变动；此时对移动后的物体区域单独进行图像检索，恢复其物体ID信息，不需要运行神经网络，即可计算该物体的位置变动量，进行地图的更新；

其中，根据地图点所计算得到的相机位姿由以下步骤计算得到：

(31)提取画面中物体所在区域的二维坐标表示的图像特征点，称之为二维特征点；

(32)获取地图中当前相机位姿附近的三维坐标表示的地图点，称之为三维特征点；

(33)将二维特征点的图像特征描述子与三维特征点的图像特征描述子进行匹配，获得匹配程度高于一定阈值的一系列匹配点对；

(34)通过pespective-n-point算法，使用获得的匹配点对计算该画面对应的相机位姿；

(4)在初始化完毕后的运行过程中，使用深度神经网络检测匹配到的物体区域以外的部分；对于每一帧，若画面中存在已被识别的物体，则只将该部分子图以外的部分分割成各个矩形子图进行神经网络推理识别，而非对整个图像进行识别，以提升神经网络的运行速度；成功识别到物体后，提取深度神经网络推理结果中该物体的特征向量，使用该向量对该子图进行图像检索，若能在数据库中检索到匹配程度高于一定阈值的物体，则认为捕捉到该物体的移动；若与数据库中任意物体的匹配程度低于一定阈值，则认为发现了新出现在地图中的物体，将该物体加入数据库。