[发明专利]一种双特征提取与融合的全卷积网络语义分割方法

说明书

本发明公开了一种双特征提取与融合的全卷积网络语义分割方法，该全卷积网络采用编码器‑解码器结构，包括编码器部分与解码器部分。在编码器部分中，RGB图像与深度图像无需做任何预处理，分别输入到两个独立的特征提取分支中，并由浅至深地进行特征提取，同时在这一过程中，不同尺度的RGB特征与深度特征不断融合，在解码器部分中则利用编码器部分提供的特征图逐步实现对每个像素的类别标注，输出分割结果。本发明提供的方法实现了RGB‑D特征的多级提取与多尺度融合，达到充分有效结合RGB特征与深度特征，进而提高分割精度的目的。

技术领域

本发明涉及图像分割技术领域，具体涉及一种双特征提取与融合的全卷积网络语义分割方法。

背景技术

随着计算机技术的迅速发展，人工智能已经融入到了人们的生活、工作、学习和娱乐之中，人工智能的交互主要依靠计算机视觉，而图像语义分割是研究计算机视觉的基础，同样也是计算机视觉中热门的研究方向之一。近些年来，随着深度学习的不断发展，在图像语义分割任务中出现了许多优秀的深度神经网络，U-net网络作为其中的一种简单而有效的图像语义分割网络，在面对小数据量时仍然展现出了优异的性能，使其最早被用在了医学图像领域，随后便被学者迁移使用到了其他的图像分割领域。

目前，对图像语义分割的研究主要还是集中在单一的RGB图像或灰度图像上。低成本RGB-D传感器的出现为图像语义分割任务提供了一种全新的视角——深度图像(Depthimage)，表现为一幅灰度图像，其中每一点的像素值代表了物体与传感器之间的距离信息，距离传感器所在平面越近的点灰度值越大。深度图像边缘性较强，具有丰富的空间信息，不会受到光照、阴影和颜色等因素的影响，研究表明利用深度信息对具有相似深度、外观和位置的物体进行分割可获得性能上的提升。由于深度特征与RGB特征这种互补的关系，在图像的RGB特征之上结合深度特征输入到图像语义分割网络进行分割可以潜在地提高网络的性能，这样的融合思想可以用在各式各样的计算机视觉应用场景，如人机交互、视觉场景理解和机器人技术，其中如何有效地融合RGB特征和深度特征就显得极为重要。

现今利用深度信息进行图像语义分割的主要手段是将RGB特征与深度特征进行融合来实现的，融合的方式主要是两种：1)将RGB图像与深度图像进行通道维度上的拼接，形成一个四通道的图像数据，再将其直接输入到分割网络中进行分割，这种融合方式虽然简单，但它不能充分利用由深度通道编码的场景空间结构信息，无法有效提升分割性能，甚至还可能因为深度图像中所带入的噪声降低分割性能，要想利用这种融合方式获得较好的分割性能需要搭建更深更广的网络体系结构，但更深更广的网络体系结构需要大量的数据集来进行训练，这样会导致训练时间过长，并且实际中很多应用场景往往无法获得大量的数据集。2)将深度图像编码成一个三通道的图像数据，三个通道分别代表水平视差、高于地面的高度和像素的局部表面与推断重力方向的倾角，此时再将该三通道数据与RGB图像进行拼接形成六通道数据后输入到网络进行分割，可获得较好的分割结果，但这种编码方式强调每个通道数据之间的互补信息而忽略了各个通道的独立成分，并且还引入了额外的计算量。

总之，现有的RGB特征与深度特征的融合方式还存在着一定的局限性。主要问题是无法充分利用深度特征中的信息，分割精度受限，复杂度较高。

发明内容

本发明的目的是为了解决现有技术中RGB特征与深度特征的融合方式的不足，提供一种双特征提取与融合的全卷积网络语义分割方法。

本发明的目的可以通过采取如下技术方案达到：