[发明专利]基于深度卷积神经网络的环境语义建图方法

说明书

本发明提出了一种基于深度卷积神经网络的环境语义建图方法，该方法能够借助深度学习在场景识别方面的优势，与SLAM技术的自主定位优势相结合，构建包含物体类别信息的环境地图。具体地，利用ORB‑SLAM对输入图像序列进行关键帧筛选和帧间位姿估计；利用一种基于Deeplab图像分割的改进方法进行二维语义分割；在卷积网络最后一层的后面引入上采样卷积层；利用深度信息作为门限信号控制不同卷积核的选择，并对齐分割后的图像与深度图，利用相邻关键帧之间的空间对应关系构建三维稠密语义地图。上述方案能够提高图像分割的精度，具有更高的构图效率。

技术领域

本发明涉及数字图像处理领域及计算机视觉领域，具体涉及一种基于深度卷积神经网络的环境语义建图方法。

背景技术

准确地获得环境信息，是移动机器人自主执行任务的关键环节。机器人在运动时可通过SLAM技术形成对周围环境的描述，即环境地图。然而，传统的SLAM构图仅考虑几何数据，无法获取地图中物体的类别与种类，提供的信息不足、特征的区分性比较弱。语义信息包括物体类别、目标检测和语义分割等，可以对场景内容进行理解，帮助机器人以目标为导向执行任务。因此，二者相结合是必然需求。

在结合语义和几何信息进行环境建模方面，最初的研究是将场景标注与SLAM相结合，随后出现了基于数据库的方法。自2015年以来，开始提出机器学习方法或深度学习图像语义理解与SLAM结合的方法。但图像分割部分大多采用FCN，效果不够理想。

在SLAM领域，业内人士构建了基于面元的环境地图，但没有位姿图优化和闭环检测，并且受限于地图房间的大小，地图复杂性与点元的数量成正比。业内人士还接受视觉传感器的图像信息，在局部关键帧集合上进行线束平差法，地图规模增大不会导致算法的复杂性急剧升高，并且当闭环出现之后，进行全局线束平差法优化，可得到全局一致性地图，可在CPU上实现。

语义分割的目的是给图像中的每个像素分配一个类别的标签，是语义建图的重要步骤。深度学习方法可以实现较高精度的语义分割，代表性的方法是全卷积神经网络(FCN)，可以将神经网络的最后几层全连接层替换成卷积层，实现端到端的学习，在任何尺寸的图片上都可以进行预测。后续的图像语义分割方法主要是从三个方面进行改进：(1)采用更深的网络结构。例如，将16层的VGG16网络结构换成101层或152层从而能够表示更复杂的模型，学习到更具有区分性的特征；(2)在预测结果后面加上后处理操作。例如引入条件随机场，可以通过近似均值场推断将其整合到网络中，可以得到端到端的结果，也有一些方法会在条件随机场基础上加入边，物体的检测等额外的信息。(3)采用编码-解码的结构，既可以提取到图像特征也可以保持较大的感受野，但网络的深度也会更深。

在语义构图方面，另外的研究人员提出的SLAM++系统是目前效果较好的语义建图方法，它将点云的特征与预先准备好的物体数据库进行比对，若发现匹配的物体则将对应点云放入地图中。但是，SLAM++只能对预定义的物体进行建图，而且其用于匹配模板模型的特征是手动提取的。此外，一些人认为三维点云的稠密语义分割比较困难，在二维图片上分割效果较好，因而采用基于贝叶斯更新和稠密条件随机场进行2D-3D的标签转换，产生一致的三维语义重构。例如，将语义分割与半稠密的大规模的直接法(Large-Scale Direct)单目SLAM融合，通过超像素分割得到图像中的平面，将平面分割结果与LSD对边缘等比较显著的结果进行融合，得到较稠密的实时建图结果，其缺点是对平面的精确度不够理想。还有研究人员提出用CNN预测深度图，与单目SLAM获得的深度测量融合，从单帧图像中获取语义标签与SLAM融合，得到单一视角下的重构，该方法主要侧重深度预测与融合。业内还存在提出利用稠密的Elastic Fusion构建三维环境地图，以反卷积神经网络进行图像分割，该方法采用稠密的Elastic Fusion建图相对耗时，耗费资源多。

发明内容

针对现有技术中的问题，本发明提供一种基于深度卷积神经网络的环境语义建图方法，该方法提高了图像语义分割效果，能够构建准确、鲁棒的三维环境语义地图，具有更高的构图效率。