[发明专利]一种基于全景视觉与激光雷达融合SLAM系统的智能车

权利要求书

1.一种基于全景视觉与激光雷达融合SLAM系统的智能车，其特征在于，包括上铝合金板和下铝合金板，全景相机，激光雷达，相机遮光罩，相机支架，计算机，锂电池，电机驱动模块，电机和轮子；其中：

所述上铝合金板和下铝合金板之间通过多个铝型材固定连接，铝型材的高度根据实际需要进行选择；

所述电机有四个，分别安装在下铝合金板的四个角的下方，电机的输出轴连接智能车四个轮子，通过控制四个轮子转动,实现智能车的在不同方向的行驶；

所述锂电池和电机驱动模块置于一收纳盒中，该收纳盒放置于下铝合金板上表面中间；所述锂电池用来给智能车供电，保证各模块的正常运行；所述电机驱动模块中装有无线网络及蓝牙模块，可以连接计算机或者手机APP，以及无线遥控器，实现对四个电机的控制；

所述相机支架安装在上铝合金板上表面的中间，所述相机遮光罩和全景相机放置在相机支架上方，进行固定，防止其晃动造成拍摄的图像模糊不清；相机支架可根据全景相机的视场角调整高度，以避免智能车上其他装置遮挡其视野；

所述计算机设置于上铝合金板上表面的后方，用于接收全景相机拍摄的图像序列，并进行处理；

所述激光雷达安装于上铝合金板上表面的前方，并与计算机连接，用于检测智能车前方某一视野内的物体，并生成点云图；

所述计算机装载有全景视觉与激光雷达融合SLAM系统，全景相机采集到的全景图像序列与激光雷达生成的点云图在SLAM系统进行数据融合，并估计车辆的位姿、重建场景地图；同时实现测距和避障功能。

2.根据权利要求1所述的基于全景视觉与激光雷达融合SLAM系统的智能车，其特征在于，所述全景视觉与激光雷达融合SLAM系统运作过程如下：

所述全景相机连接到计算机之后，采集智能车周围360°场景的图像连续帧，然后输入到计算机中； SLAM系统将对这些图像序列进行处理；首先使用掩膜避开图像中的盲区部分，提取环形有效区域的特征点；所述激光雷达对前方的场景进行实时的扫描，同时将点云信息传输到计算机中，并融合激光点云信息与图像信息；

如果系统尚未初始化，则执行初始化过程：将这些特征点进行帧间匹配，然后筛选正确匹配的特征点对，来估计当前相机的初始位姿，并根据与激光点云的数据融合结果得到环境中的初始地图点；使用局部光束法平差对相机初始位姿和初始地图点进行优化；

完成全景视觉与激光雷达融合SLAM系统的初始化后，系统根据全景相机采集到的当前帧图像，使用跟踪模型跟踪已有的地图点；估计当前相机的运动位姿，更新局部地图；然后使用局部BA优化当前位姿和地图点；

当所述全景视觉与激光雷达融合SLAM系统识别到智能车返回先前经过的位置时，根据当前关键帧和上次经过该地时生成的关键帧之间的相似度，来判断是否满足闭环检测的条件；由于全景相机具有360°视场角，即便从相反的方向返回先前经过的位置，也能保证当前关键帧和上次经过该地时生成的关键帧之间具有足够相似度，从而完成闭环检测，校正尺度漂移；然后进行全局BA以获得更为精确的运动位姿和地图点；

智能车在行驶的过程中，将激光点云图与全景相机采集的图像信息融合，能获得更精确的空间点坐标，从而提升智能车的定位精度；同时根据获取的点云信息来判断前方是否具有障碍物；如果识别到障碍物，计算机将根据障碍物到智能车的距离发出指令到电机驱动模块，并通过电机控制轮子的运动，以实现智能车的减速及拐弯。