[发明专利]基于动态环境下的目标检测的视觉定位与建图系统

说明书

本公开的基于动态环境下的目标检测的视觉定位与建图系统，通过图像获取模块，用于获取动态环境图像和IMU数据；目标检测模块，用于检测所述动态环境图像的检测目标，并输出所述检测目标的边框位置；特征提取和筛选模块，用于提取所述动态环境图像中的特征点，并根据所述检测目标的边框位置筛选特征点；数据处理模块，用于根据所述IMU数据和筛选特征点后的动态环境图像数据估计所述动态环境图像的位姿值，根据所述动态环境图像的位姿估计值进行视觉定位和建图。能够在保证视觉定位与建图系统实时性的前提下有效解决了大漂移位姿估计、场景内的动态目标导致大量误匹配和跟踪失败的问题。

技术领域

本发明属于机器人定位技术领域，具体涉及一种基于动态环境下的目标检测的视觉定位与建图系统。

背景技术

近年来，无人机、无人车、智能仓储机器人等各类层出不穷的智能个体在为人类生活提供巨大便利的同时创造了可观的产业价值，在智能体实现高度无人化的技术进程中，以视觉传感器为硬件基础的视觉同时定位与建图技术(Visual Simultaneouslocalization and mapping，VSLAM)扮演了重要角色。VSLAM能够捕获高频图像序列并从中提取对应特征，从而基于特征匹配约束连续稳定地估计相机位姿、建模周围环境，为后续路径及运动规划任务提供良好接口。在机器人定位领域中，全球定位系统、超宽带定位系统等传统方案在室内环境中收效甚微，而基于视觉图像的定位导航则能够凭借出色的环境适应性填补原有技术缺口。然而，在充分利用环境信息的同时，VSLAM技术也受限于视觉传感器的先天弱势，天然地具备环境敏感性弊端，弱纹理、强光照、高动态及运动模糊等情况都可能引发系统崩溃，特别是场景内的动态目标会导致大量误匹配出现，造成相对运动歧义，严重影响VSLAM技术在现实世界中的普及应用。目前，动态环境下的VSLAM已成为领域内重要课题，伴随计算机视觉技术的更新进步，相关解决方案逐步多样化、完善化。

针对动态环境下的视觉定位与建图任务，文献1(Dai W,Zhang Y,Li P,etal.RGB-D SLAM in Dynamic Environments Using Point Correlations[J].IEEETransactions on Pattern Analysis and Machine Intelligence,2020,PP(99):1-1.)采用图论思想，首先检测任意两邻近点间相对位置关系随时间的变化趋势，如果其相对位置保持长期一致，则在对应特征点间构建“边连接”，反之则删除二者间的关联边。随后，根据地图路标点间的“关联图”将特征划分为静态场景及动态目标两组，并在后续的关联图优化中剔除动态个体，以削弱动态场景内移动目标带来的消极影响。最终，仅以剩余可靠特征点为基础进行相机位姿估计，增强VSLAM在动态场景下的精度及鲁棒性，但是该方法处理流程比较复杂，运算负担较高。

文献2(Wang S,Clark R,Wen H,et al.DeepVO:Towards end-to-end visualodometry with deep Recurrent Convolutional Neural Networks[C]//2017IEEEInternational Conference on Robotics and Automation(ICRA).IEEE，2017.)以Kitti数据集为监督训练端到端的深度学习框架，将完整的视觉定位工作流浓缩至神经网络结构之中，创新性地将卷积神经网络(CNN)与递归神经网络(RNN)融合，使其更加契合VSLAM的问题特性，利用CNN提取图像特征，RNN解算视觉位姿并隐式建模图像序列中的动态信息，充分结合二者优势，同时学习图像序列的时、空间特性，DeepVO良好的精度表现证明了RCNN架构的有效性。但是，该文献中的系统对于动态物体的感知不敏感且不稳定，精度低。

本发明受上述两种方案的启发，根据所要解决问题的本身特点，结合深度学习方法与传统几何视觉，提出一种基于目标检测的VSLAM系统。根据检测框位置在图像中建立特征抑制区域以剔除不稳定特征点，并通过非线性优化算法对剩余可靠特征进行位姿拟合。本发明中，目标检测模块通过级联方式接入原系统架构，在尽力保证系统实时性的前提下有效解决了大漂移位姿估计和跟踪失败的问题。