[发明专利]一种基于深度特征选择融合的RGB-D语义分割方法

说明书

本发明公开了一种基于深度特征选择融合的RGB‑D语义分割方法，采用双流卷积神经网络作为语义分割模型，首先对RGB‑D图像和对应标签图像进行预处理，再由编码器提取可见光图像和深度图像各层的特征图，然后对可见光图像和深度图像的特征图进行融合，得到每一层的融合特征；接下来使用空间注意力对编码器的融合特征进行选择，将选择后的结果进行上采样，最终得到分割结果。本发明方法对于小物体和轮廓分割更为精确，对于光照变化和相似外观的物体分割鲁棒性更强，同时分割结果正确率和平均交并比更高。

技术领域

本发明属于图像处理技术领域，具体涉及一种RGB-D语义分割方法。

背景技术

语义分割(Semantic Segmentation)是指根据语义信息对图像进行像素级别的分类。随着深度传感器的发展，除了被广泛使用的视觉信息之外，深度信息被视为另一种提高场景解析性能的补充信息。深度信息包含对光照变化不敏感的3D几何信息，并且该信息可以区分外观相似的对象。因此，深度线索一定程度上可以弥补仅使用视觉线索的语义分割的缺陷。RGB-D语义分割对于许多应用非常重要，例如自动驾驶，机器人视觉和室内导航等。

随着深度学习的发展，双流网络在RGB-D语义分割中取得了卓越的性能。然而，如何有效地将可见光和深度信息融合成一个统一的表示形式，仍然是RGB-D语义分割中的一个基本但困难的问题。C.Hazirbas等人在文献“C.Hazirbas,L.Ma,C.Domokos,andD.Cremers.FuseNet:Incorporating Depth into Semantic Segmentation via Fusion-Based CNN Architecture.In Asian Conference on Computer Vision,2016,pp.213-228.”中直接将深度特征图与可见光特征图进行相加来融合二者的信息。L.Deng在文献“L.Deng,M.Yang,T.Li,Y.He,and C.Wang.RFBNet:Deep Multimodal Networks withResidual Fusion Blocks for RGB-D Semantic Segmentation.Eprint Arxiv,2019.”中提出了一种残差融合块，以实现自下而上的交互作用和两种模态之间的融合。X.Hu等人在文献“X.Hu,K.Yang,L.Fei,and K.Wang.ACNet:Attention Based Network to ExploitComplementary Features for RGBD Semantic Segmentation.In IEEE InternationalConference on Image Processing,2019,pp.1440-1444.”中提出了一种注意力补充模块，为不同的模态分配不同的权重以实现更好的集成。S.Lee等人在文献“S.Lee,S.J.Park,andK.S.Hong.RDFNet:RGB-D Multi-level Residual Feature Fusion for Indoor SemanticSegmentation.In IEEE International Conference on Computer Vision,2017,pp.4990-4999.”中使用单模态残差连接来学习RGB和深度特征及其组合以利用互补特征。尽管这些方法提供了集成两种信息的结构化模型，但如何确保网络充分利用两种模式中的信息进行精细的语义分割仍然是一个开放的问题。