[发明专利]一种对图像进行语义分割的方法及系统

说明书

本发明提供一种对图像进行语义分割的方法及系统，包括：确定样本图像；提取视觉特征和深度特征；对语义分割模型进行训练；包括编码模块和解码模块；编码模块将每组特征输入DFS，融合得到一组多模特征，通过CA对各组多模特征进行筛选，并将筛选后的多模特征输入DS学习各个深度特征对应的权重矩阵，基于权重矩阵和相应深度特征筛选出相应的关键深度特征，得到各组含有关键深度信息的多模特征；构建DDC，提取相关的语义特征，得到融合后的语义特征；解码模块基于融合后的语义特征对每组图像中的彩色图像进行语义分割；将待语义分割图像输入到训练好的语义分割模型，以进行语义分割。本发明的语义分割模型可以更加合理的利用深度信息。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种对图像进行语义分割的方法及系统。

背景技术

语义分割是计算机视觉领域中的一项基本任务，目标是把图像中的每一个像素分配给对应的类别，是像素级别的多分类任务。其在自动驾驶、虚拟现实、机器人导航、医学图像处理等领域具有重要意义。在近年来的研究表明，在室内场景的语义分割任务中，深度信息的引入会在一定程度上提高分割的精度，原因是深度图像可以提供彩色图像相对匮乏的空间位置信息，能够在一定程度上区分视觉特征相似但深度特征差异较大的不同物体。

根据将深度信息嵌入视觉特征的方式，大部分的研究内容可以大致分为以下三类：单流的方式，双流的方式以及多任务的方式。单流的方式不会将深度图作为额外的输入而对其提取特征，只有一个对彩色图像进行特征提取的主干网络，特征提取的过程中利用深度图固有的空间信息辅助视觉特征的提取，以达到提高语义分割的效果，或者是采用多个卷积核沿着深度方向对输入图像提取特征，每个卷积核处理不同深度的像素点，最后把多个卷积核的计算结果相加。双流的方法主要存在两个主干网络，将深度图作为单独的输入，对深度图像和彩色图像分别提取特征，在适当的位置(编码器阶段或解码器阶段)将两种模态的特征融合来实现将深度信息嵌入视觉特征的目的。与上述两种方法具有显著不同的是多任务方法，它将语义分割，深度估计以及表面法线估计等多种任务一同处理，这类方式往往只有一个共用的主干网络，在对彩色图像进行特征提取的过程中，这些任务具有相似的特征以及互补的特征，不同任务间特征的交互会提高各个任务的性能。

但是，如何更有效的利用深度信息仍然是一个开放性的问题。除此之外，基于深度学习的室内图像语义分割任务中，卷积核固有的几何结构限制了卷积网络的建模能力，可变形卷积的提出在一定程度上缓解了这个问题。然而可变形卷积中产生位置偏移的彩色图像空间位置信息相对不足，限制了其特征提取的能力。此外，当前室内图像语义分割方法中，未曾思考深度信息的加入是否会产生不良影响，即将全部深度信息和视觉特征组合在一起可能会对模型产生干扰，产生这种现象的原因是仅依靠视觉特征网络就能区分不同物体，在引入深度信息后反而可能会使得网络模型做出错误的判断。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种对图像进行语义分割的方法及系统，旨在解决现有图像语义分割技术中，使用全部深度信息可能导致的网络模型错误分类的问题。

为实现上述目的，第一方面，本发明提供了一种对图像进行语义分割的方法，包括如下步骤：

确定样本图像；所述样本图像包括多组图像，每组图像包括一个彩色图像和一个深度图像，且每组图像中的彩色图像和深度图像均对同一成像区域分别彩色图成像和深度图成像得到；不同组图像可以对不同成像区域成像得到；

提取每组图像中彩色图像的视觉特征和深度图像的深度特征，将每组图像提取的视觉特征和深度特征组合成一组特征，得到多组特征；