[发明专利]一种针对RGB-D图像的语义分割方法及装置

说明书

本发明实施例提供了一种针对RGB‑D图像的语义分割方法及装置。所述方法包括：获得待语义分割的RGB‑D图像；将RGB‑D图像所包括的RGB图像和深度图像输入至预先训练的神经网络，得到RGB‑D图像对应的目标标识图像；其中，RGB图像输入至神经网络的分支网络组中的一个分支网络层，深度图像输入至分支网络组中的另一个分支网络层；神经网络包括：顺次连接的分支网络组、特征融合网络层和输出网络层，神经网络是根据样本RGB‑D图像、样本RGB‑D图像对应的样本标识图像训练得到，任一样本RGB‑D图像对应的样本标识图像为：该样本RGB‑D图像所包括的样本RGB图像对应的语义分割结果。应用本发明实施例，能够实现利用神经网络对RGB‑D图像进行有效的语义分割的目的。

技术领域

本发明涉及图像处理领域，特别是涉及一种针对RGB-D图像的语义分割方法及装置。

背景技术

近年来，SLAM(Simultaneous Location And Mapping，即时定位与重建)系统发展迅速，该系统主要用于机器人自主定位与导航等领域。具体的，SLAM系统利用RGB-D图像，进行特征提取和匹配等处理，实现构建三维地图和实时定位的目的。所谓的RGB-D图像是两幅图像：一个是RGB图像(具有红绿蓝三通道的图像)，另一个是深度图像(depth image)。其中，深度图像类似于灰度图像，它的每个像素值是传感器距离物体的实际距离，并且，通常RGB图像和深度图像的像素点是一一对应的。

为了提升构建的三维地图的可用性，研究人员基于语义分割技术提出了语义地图的概念，语义分割是指将图像中的内容进行像素级分割并且识别出物体的类别，语义地图即在构建的三维点云中分割和识别环境中的物体。

由于近年来深度学习在语义分割上取得的迅猛发展和良好效果，对于SLAM系统，研究人员期望能够利用深度学习中的神经网络进行RGB-D图像的语义分割。

因此，针对上述需求，如何利用神经网络对RGB-D图像进行有效的语义分割，是个亟待解决的问题。

发明内容

本发明实施例的目的在于提供一种针对RGB-D图像的语义分割方法及装置，以实现利用神经网络对RGB-D图像进行有效的语义分割的目的。具体技术方案如下：

第一方面，本发明实施例提供了一种针对RGB-D图像的语义分割方法，所述方法包括：

获得待语义分割的RGB-D图像，所述RGB-D图像包括：红绿蓝三通道RGB图像和所述RGB图像对应的深度图像；

将所述RGB-D图像所包括的RGB图像和深度图像输入至预先训练的神经网络，得到所述RGB-D图像对应的目标标识图像；其中，所述RGB图像输入至所述神经网络的分支网络组中的一个分支网络层，所述深度图像输入至所述分支网络组中的另一个分支网络层；其中，所述神经网络包括：顺次连接的所述分支网络组、特征融合网络层和输出网络层，所述分支网络组包括作为并列分支的两个分支网络层，每个分支网络层为对输入图像进行特征提取的特征提取层；所述神经网络是根据样本RGB-D图像、所述样本RGB-D图像对应的样本标识图像训练得到，所述样本RGB-D图像包括样本RGB图像和样本深度图像，任一样本RGB-D图像对应的样本标识图像为：该样本RGB-D图像所包括的样本RGB图像对应的语义分割结果。

可选的，每个分支网络层包括串行连接的三个卷积模块。

可选的，第一分支网络层中每个目标卷积模块的输入内容包括：该目标卷积模块的上一卷积模块的输出内容，以及第二分支网络层中与所述上一卷积模块位置对应的卷积模块的输出内容；

其中，所述第一分支网络层为所述RGB图像所在的分支网络层，所述第二分支网络层为所述深度图像所在的分支网络层，任一目标卷积模块为所述第一分支网络层中除第一个卷积模块以外的卷积模块。

可选的，所述特征融合网络层的特征融合方式，包括：