[发明专利]语义信息与几何约束相结合的动态特征点剔除方法

说明书

本发明涉及于图像处理技术领域，尤其涉及语义信息与几何约束相结合的动态特征点剔除方法，步骤包括：在ORB‑SLAM2系统框架中创建目标检测线程，设计了YOLOv5目标检测网络；提取图像ORB特征点，使用了对极几何约束的运动一致性检测算法判断特征点动态性；提出语义信息与几何约束相结合的动态特征点剔除模块，最终确定目标检测边界框中的动态物体，实现了动态特征点的有效剔除。本发明方法可以快速识别场景中的物体类别，通过验证证明，本发明方法在TUM数据集上其绝对轨迹误差、平移和旋转相对位姿误差的RMSE值与ORB‑SLAM2相比分别降低了97.71％、95.10％和91.97％。

技术领域

本发明涉及于图像处理技术领域，尤其涉及语义信息与几何约束相结合的动态特征点剔除方法。

背景技术

同时定位与地图构建(Simultaneous Localization and Mapping，SLAM)技术是指搭载特定传感器的移动机器人在未知环境中从任意位置出发，于运动过程中根据观测到的路标，然后计算视野内路标与机器人的距离和夹角，从而定位自身的位置和姿态，同时在自身定位基础上增量式地构建周围环境地图。SLAM技术是机器人感知自身状态和外部环境的关键技术，更是机器人完成环境感知、自主定位与导航、路径规划、人机交互等复杂任务的关键及基础。

视觉SLAM因视觉传感器成本低、能获取丰富的环境信息被广泛应用，在静态环境下能够保证其鲁棒性和高效性，然而在实际动态场景下，由于场景中动态物体的特征点干扰，使得视觉SLAM图像帧间特征点匹配时出现误匹配，进而估计的位姿信息误差较大，最终导致机器人的运动轨迹与地图构建出现严重偏差。目前国内外动态场景视觉SLAM技术在一定程度上剔除了运动物体的特征点，减少了动态特征点干扰，提升了定位精度，然而大多技术没有考虑潜在运动物体的特征点，如临时停放的车辆。若仅依据先验类别信息把物体的特征点判为动态特征点并给予剔除将，存在特征点“过剔除”问题，同样易导致视觉SLAM定位精度不高。此外，目前动态SLAM技术忽略了SLAM系统的实时性，增加了时间消耗，导致系统无法实时运行，机器人耗电量高。因此，进行语义信息与几何约束相结合的动态特征点剔除研究具有极其重要的实际应用价值，同时还可用语义信息构建三维语义地图，实现机器人对场景高层次的感知，有利于智能机器人完成人机交互等高级任务。

本发明的目的在于研究适用于动态场景下视觉SLAM的动态特征点剔除方法，从而实现机器人准确地估计位姿，获得精确的定位信息。本发明致力于从改进轻量级目标检测网络、特征点提取、运动一致性检测、动态特征点剔除等四方面开展了研究，力图提高动态场景视觉SLAM的定位精度，以满足移动机器人定位要求。

发明内容

本发明的目的是提供语义信息与几何约束相结合的动态特征点剔除方法，用于解决现有技术中忽略了SLAM系统的实时性，增加了时间消耗导致系统无法实时运行，机器人耗电量高的技术问题。

为了实现上述目的，本发明采用了如下技术方案：

本发明提供一种语义信息与几何约束相结合的动态特征点剔除方法，包括以下步骤：

S1：在ORB-SLAM2系统框架创建一个目标检测线程并行运行，并设计一轻量级的YOLOv5目标检测网络为视觉SLAM提供物体的语义信息；

S2：提取图像ORB特征点，使用对极几何约束的运动一致性检测算法判断特征点动态性；

S3：提出语义信息与几何约束相结合的动态特征点剔除模块，最终确定目标检测边界框中的动态物体，实现了动态特征点的有效剔除；

S4：利用保留的静态特征点进行位姿估计，提高动态场景中的SLAM定位精度。

进一步地，S1包括以下步骤：

S100：改进ORB-SLAM2系统框架的ShuffleNetv2网络：

在步长为1的基本单元块中引入了Ghost模块和SE模块；