[发明专利]动静态场景的定位和建图方法、装置、设备和存储介质

说明书

本发明公开了一种动静态场景的定位和建图方法、装置、设备和存储介质，一种动静态场景的定位和建图方法包括：依次获取相机拍摄的图像帧；筛选出图像帧中的关键帧，并确定关键帧对应的相机位姿；对关键帧进行聚类后划分为多个区块，确定关键帧中的动态区块，在系统维护的局部地图中滤除动态区块内的所有特征点对应的地图点；根据关键帧进行局部建图，优化关键帧对应的相机位姿和系统维护的局部地图。本发明公开的动静态场景的定位和建图方法、装置、设备和存储介质，降低了动态点对定位和建图的影响，且无需消耗大量的计算资源。

技术领域

本发明实施例涉及计算机视觉技术，尤其涉及一种动静态场景的定位和建图方法、装置、设备和存储介质。

背景技术

近年来，由于相机的低成本和轻量级特性，视觉里程计(Visual Odometry，VO)和视觉同时定位和建图(Visual Simultaneous Localization and Mapping，vSLAM)在机器人定位和导航中有着重要的地位。

但在复杂的环境中，VO和vSLAM要完成精准和鲁棒的定位导航任务，面临着极大的挑战。动态场景作为复杂环境的一种，其动态物体极大地影响着VO和vSLAM的轨迹精度和系统鲁棒性，如果不滤除动态物体而保持着动态物体的影响，那么系统估计的轨迹可能离正确的轨迹越偏越远。而且，在现实生活中，很难出现完全静止的场景，总会出现各种各样的动态物体，如人、车、动物等等，VO和vSLAM要应用在现实场景中，那么动态场景是无法避免的一个问题。

目前解决动态场景的主要思路有两种，一种是基于先验语义信息，用神经网络来分割出图像中的运动目标，如人、车等，系统事先知道这些语义信息，然后利用判别算法区分动态目标和静态背景；另一种是基于运动一致性判别，在提取到的特征点或者划分出来的块上面做划分，判断每一个地图点或者块是静态点还是动态点。前者分割比较精准，一旦判断为动态目标，则可以滤除整个该动态目标对系统的影响，但是对训练数据有严重依赖性，泛化能力差，也就是说，对于神经网络没有学习到的动态目标，该方法是无法分割出来的，另一方面，该方法需要在图形处理器(Graphics Processing Unit，GPU)上面运行，在一些低性能的手持设备上很难应用。后者对建立的地图点做处理，它的泛化能力较强，适应于所有类型的动态目标场景中，并且可以在CPU上面运行，但每次优化只能滤除一部分动态点，一些动态点还是会被建到局部地图中，在后面的位姿优化中，继续用这些暂时未滤除的动态点来做优化，会影响位姿精度，另外，目前采用的基于三维空间的分块方法，分割效果较差，在动态物体靠近静态背景时，存在误分割现象，也会影响位姿精度。

综上所述，目前针对复杂场景中的定位和建图方法均具有一定的使用限制，无法被广泛应用。

发明内容

本发明实施例提供一种动静态场景的定位和建图方法、装置、设备和存储介质，降低了动态点对建图的影响，且无需消耗大量的计算资源。

第一方面，本发明实施例提供一种动静态场景的定位和建图方法，包括：

依次获取相机拍摄的图像帧；

筛选出图像帧中的关键帧，并确定关键帧对应的相机位姿；

对关键帧进行聚类后划分为多个区块，确定关键帧中的动态区块，在系统维护的局部地图中滤除动态区块内的所有特征点对应的地图点；

根据关键帧进行局部建图，优化关键帧对应的相机位姿和系统维护的局部地图。

在第一方面一种可能的实现方式中，根据关键帧进行局部建图，优化关键帧对应的相机位姿和系统维护的局部地图之后，还包括：

对关键帧进行回环检测，优化系统维护的局部地图和关键帧对应的相机位姿。

在第一方面一种可能的实现方式中，筛选出图像帧中的关键帧，并确定关键帧对应的相机位姿，包括：

对当前图像帧进行追踪；