[发明专利]一种利用红外、深度和双目相机融合构建栅格地图的方法

说明书

本发明公开了一种利用红外、深度和双目相机融合构建栅格地图的方法，属于图像处理和计算机视觉领域。利用严谨的配准策略完成传感器配准，从硬件的层次提升系统效率。利用GPU构建高性能运算平台，并构建高性能求解算法构建栅格地图。系统容易构建，程序简单，易于实现；利用红外相机，深度相机和双目相机融合构建地图，可以全天候使用，而且算法鲁棒性强精度高。

技术领域

本发明属于图像处理和计算机视觉领域。利用红外，深度和双目相机的特性，相互弥补缺陷，使得构建栅格地图更精细更准确。是一种利用多传感器构建栅格地图的方法。

背景技术

近年伴随着人工智能的发展移动机器人和汽车自动驾驶越来越受到人们的关注，而其中一个需要解决主要的问题就是地图构建。栅格地图是在无人导航中最为常见的一种地图，因而如何构建快速精确的栅格地图成为移动机器人和和无人车中一个十分重要的问题。现阶段主流的方法大致利用三种传感器，双目相机，深度相机和雷达。三种传感器由于自身的特性存在着不可避免的缺点，双目相机受光照和纹理影响大，深度相机测距范围有限。抗干扰能力差，激光雷达或毫米波雷达价格昂贵且数据稀疏。由此可见单一传感器构建栅格地图不能完整准确的反映出场景的结构。因此传感器融合成为一种趋势，现阶段存在的融合方案有双目相机和雷达，使用双目相机的稠密数据填充雷达的稀疏数据，使用雷达的精确数据修正双目相机的粗略数据，最终构建可较好反映场景深度图，然后可利用生成的深度图构建栅格地图。但是这样的方案设备成本高，算法中数据融合消耗资源多、实时性较差，而且在夜晚中由于双目相机无法使用该方案会失效。

发明内容

为解决现有技术中的问题，本发明提出使用利用红外、深度和双目相机融合构建栅格地图的方法，红外相机可以感受物体发散的红外线，在夜晚或大雾时依然可以使用，深度相机测距范围有限但是精度高可以弥补双目相机在近处的测量误差，双目相机测距范围大获取可以获取远处的信息。三者结合可以克服无纹理区域、光照影响等问题。但是数据融合依然影响算法的执行效率，本发明提出的权值状态更新方法融合数据可以提升算法效率。

具体技术方案的步骤如下：

1)多传感器配准

多传感器配准旨在标定传感器位姿，在硬件层次减少软件的计算量提升系统执行效率。首先采用混合材料的标定板进行红外相机和双目相机器位姿标定。标定的方法采取张正友标定法，得到传感器位姿为T，传感器配准之后两种图像会实现理论上的像素级对准。之后对拍摄标定物后得到的点云P_i和P_s对齐矫正进一步修正位姿，要使点对满足且点对的数量达到最大，得到位姿为T₁。

其次标定深度相机和双目相机的位姿，在两传感器测距范围内选取8个以上位置，使用标定物在两个传感器的公共视野内拍摄8个以上图像。令深度相机获得点云为P_d，对应的双目立体相机获得的点云为P_s，使用计算T₁的方法得位姿T₂。

2)深度权值更新

三种传感器生成的深度图分别为D_i，D_d和D_s，精度分别为w_i，w_d和w_s。其中D_i在黑夜或亮度较低的情况下精度w_i较高，D_d在室内近处的精度w_d较高，D_s在白天或亮度高的室外情况下精度w_s较高。为了区分这些情况更好的应用传感器特性，在融合之前使用三种传感器的原始图像进行场景判别，根据场景情况适当调节深度图的精度。

3)筛选视线