[发明专利]一种基于动态目标检测的视觉SLAM方法及装置

说明书

本发明公开一种基于动态目标检测的视觉SLAM方法，使用目标检测网络Yolov3暂时剔除图像的潜在动态区域，通过重投影误差优化单应矩阵，求解运动补偿帧并得到四帧差图，之后，对四帧差图进行滤波、二值化和形态学处理，同时结合Yolov3网络对动态目标检测结果进行优化，从而求得改善后的动态目标区域，最后，使用静态区域的特征点进行视觉SLAM的跟踪、建图与回环检测。上述方法采用深度学习目标检测网络先剔除场景中的潜在动态区域，粗略地估算一个单应矩阵，基于重投影误差和类间方差相结合的方法，来判断潜在动态区域上的特征点，能否用于单应矩阵的计算，以对单应矩阵进行优化，从而提高单应矩阵的精度。

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于动态目标检测的视觉SLAM方法及装置。

背景技术

同时定位与地图构建（SLAM，Simultaneous localization and mapping）技术越来越广泛地被运用于机器人定位和无人驾驶等领域，其中视觉传感器拥有携带方便、成本较低的特点，所以被广泛地运用于SLAM技术中，传统的视觉SLAM算法，大部分是假设相机在静态环境中，例如Orbslam2，DSO，SVO等，场景存在动态区域时，视觉SLAM在动态对象上提取的特征点，会影响算法的精度。

针对动态场景中视觉里程计精度下降的问题，常采用的方法是：对图像先进行动态对象检测，剔除动态区域特征点后，保留静态区域的特征点进行视觉SLAM的追踪建图，但是在动态区域占比大的图像中，剔除动态区域后，会较大程度的影响视觉SLAM的追踪建图的准确度。

现有技术中存在的缺陷主要是由以下原因导致的：单独使用深度学习目标检测网络，可以预先将人、汽车等具有可移动性的对象分类为潜在的动态目标，但是无法判断潜在动态目标是否处于真实的运动状态，如果潜在动态目标处于静止状态，则可能会剔除过多的静止特征点。需要结合深度信息进行动态检测的算法，在图像某些区域深度信息不确定时，或在前后景深度较为接近时，可能会导致分类不准确。

发明内容

本发明提供一种基于动态目标检测的视觉SLAM方法及装置，用于至少解决上述技术问题之一。

本发明提供一种基于动态目标检测的视觉SLAM方法，包括：响应于获取的各个图像帧，基于深度学习目标检测网络对所述各个图像帧进行区域分割，其中，所述各个图像帧中包括潜在动态区域和/或静态区域，所述潜在动态区域中包含运动特征点和/或第一静止特征点，所述静态区域中包含第二静止特征点；将上一帧图像的第二静止特征点和当前帧图像的第二静止特征点进行匹配；响应于获取的匹配关系，基于RANSAC（Random SampleConsensus）算法计算得到第一单应矩阵；基于运动特征点滤除方法分别提取所述上一帧图像第一静止特征点和所述当前帧图像的第一静止特征点，其中，所述运动特征点滤除方法为特征点的重投影误差结合最大类间方差法形成的方法；基于所述上一帧图像的第一静止特征点和所述当前帧图像的第一静止特征点的匹配关系，使对所述第一单应矩阵进行优化并得到第二单应矩阵；依据所述第二单应矩阵，对所述上一帧图像进行运动补偿，使得到运动补偿帧图像。

本发明提供一种基于动态目标检测的视觉SLAM装置，包括：分割模块，配置为响应于获取的各个图像帧，基于深度学习目标检测网络对所述各个图像帧进行区域分割，其中，所述各个图像帧中包括潜在动态区域和/或静态区域，所述潜在动态区域中包含运动特征点和/或第一静止特征点，所述静态区域中包含第二静止特征点；匹配模块，配置为将上一帧图像的第二静止特征点和当前帧图像的第二静止特征点进行匹配；计算模块，配置为响应于获取的匹配关系，基于RANSAC算法计算得到第一单应矩阵；提取模块，配置为基于运动特征点滤除方法分别提取所述上一帧图像第一静止特征点和所述当前帧图像的第一静止特征点，其中，所述运动特征点滤除方法为特征点的重投影误差结合最大类间方差法形成的方法；优化模块，配置为基于所述上一帧图像的第一静止特征点和所述当前帧图像的第一静止特征点的匹配关系，使对所述第一单应矩阵进行优化并得到第二单应矩阵；补偿模块，配置为依据所述第二单应矩阵，对所述上一帧图像进行运动补偿，使得到运动补偿帧图像。