[发明专利]一种融合双目相机与IMU的定位与三维线框结构重建方法与系统

摘要

本发明涉及一种融合双目相机与IMU的定位与三维线框结构重建的方法与系统。本发明在双目视觉基础上，利用分治的策略初始化并融合惯性测量信息，实施跟踪定位与建图，可以稳健地在室内室外等环境以及复杂的运动条件下运行。在精确定位的基础上，基于关键帧优化后的位姿进行三维线框的重建与迭代优化。通过局部特征与空间几何约束匹配直线段并反投影到三维空间中。通过角度与距离约束，将直线段分成不同的集合。基于分组的结果，确定拟合区域并合并直线段。最终输出三维线框结构。本发明在传统的基于视觉的定位与建图的方法上，融合多源信息提高系统的稳定性与鲁棒性。同时在关键帧处，加入线信息，稀疏表达了三维环境的结构特征，提高了计算效率。

主权项

1.一种融合双目相机与IMU的定位与三维线框结构重建系统，其特征在于，包括如下模块：数据采集模块，分别对双目相机拍摄的低频的图像流以及惯性测量单元中加速计与陀螺仪采集的高频的数据进行读取与预处理；特征提取与匹配模块，通过左右目图像特征点的提取与匹配，计算视差，恢复点在相机坐标系下的三维位置；提取图像流中关键帧以及关键帧中的直线段特征，而后基于局部特征描述子和外观、几何特征进行匹配，分别计算直线段两个端点的视差，从而恢复线在相机坐标系下的三维位置；跟踪模块，联合视觉特征点和惯性信息估计相邻图像之间的相对运动，从而确定图像帧位姿，并将特征提取与匹配模块得到的三维点与线统一到世界坐标系下，描述局部地图；优化模块，对跟踪模块得到的位姿与三维空间位置以及惯性测量值进行优化，计算全局一致的精确的运动轨迹与地图；同时在运载体运动的同时，对当前运动场景进行识别，判断是否与之前到访的地点形成回环，形成空间上几何强约束；线框重建与优化模块，基于优化后的结果，将二维图像中匹配的线特征，反投影到三维空间中，并依据距离与方向阈值对空间中线段进行分组拟合，通过迭代求解，最后形成全局一致的结构描述。