[发明专利]门机制引导边缘信息蒸馏的RGB-D图像语义分割方法及终端

说明书

本发明提供一种基于门机制引导边缘信息蒸馏的RGB‑D图像语义分割方法、存储介质及终端。方法包括：获取待语义分割的RGB‑D图像，RGB‑D图像包括RGB图像和RGB图形对应的深度图像；将RGB图像和RGB图形对应的深度图像输入预先训练好的神经网络，得到RGB‑D图像对应的语义分割结果；其中，所述神经网络包括：特征提取网络层、门机制引导的特征融合网络层、边缘信息蒸馏网络层及多层特征融合网络层。通过采用门机制自适应的学习彩色图和深度图之间的互补关系，将门机制生成的特征通过蒸馏网络提取有鉴别性的边缘信息来增强高层次语义特征图的细节信息，并将各个门机制生成的特征图进一步逐层与解码器的特征融合，增加更多的细节信息，从而生成更精准高效的语义分割图。

技术领域

本发明涉及通信技术领域，尤其涉及一种基于门机制引导边缘信息蒸馏的RGB-D图像的语义分割方法、存储介质及终端。

背景技术

语义分割旨在为每个像素分配一个类别标签，主要广泛应用在以视觉为基础的自动驾驶，精准农业，三维地图重构，医疗图像分割，人机交互等领域。

目前，很多语义分割方法主要通过融合深度图和彩色图来生成更具有表征的特征来提高RGB-D图像语义分割的性能。在编码器和解码器结构中，根据融合的阶段分为前期融合，中期融合和后期融合。这些方法大都是采用融合网络层直接对深度图和彩色图进行融合。然而，由于像Realsense 等深度摄像机采集的深度图会存在一定的噪声，直接使用深度图会对语义分割的性能产生一定影响。

因此，现有技术还有待于进一步的提升和改进。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种基于门机制引导边缘信息蒸馏的RGB-D图像的语义分割、存储介质及终端，旨在解决现有由于深度图存在噪声直接使用深度图对语义分割的性能产生不利影响的问题。

第一方面，一种基于门机制引导边缘信息蒸馏的RGB-D图像语义分割方法，其中，包括：

获取待语义分割的RGB-D图像，所述RGB-D图像包括RGB图像和所述RGB图形对应的深度图像；

将所述RGB图像和所述RGB图形对应的深度图像输入预先训练好的神经网络，得到所述RGB-D图像对应的语义分割结果；其中，所述神经网络包括：特征提取网络层、门机制引导的特征融合网络层、边缘信息蒸馏网络层及多层特征融合网络层；所述神经网络是根据样本RGB-D图像及所述样本RGB-D图像对应的样本标识图像训练得到。

上述所述的基于门机制引导边缘信息蒸馏的RGB-D图像语义分割方法，通过采用门机制自适应的学习彩色图和深度图之间的互补关系，并结合门机制引导的特征融合以及通过蒸馏网络提取有鉴别性的边缘信息，进一步逐层与解码器的特征融合，增加更多的细节信息，从而生成更精准高效的语义分割图。

可选地，所述的基于门机制引导边缘信息蒸馏的RGB-D图像语义分割方法，其中，所述将所述RGB图像和所述RGB图形对应的深度图像输入预先训练好的神经网络，得到所述RGB-D图像对应的语义分割结果，具体包括：

将所述RGB-D图像输入所述特征提取网络层，提取所述RGB-D图像多个层级的RGB编码特征和深度编码特征；

将多个层级中每层的RGB编码特征和深度编码特征输入所述门机制引导的特征融合网络层，得到与每层对应的融合特征及具有互补性的特征；

将每个层级的所述具有互补性的特征输入所述边缘信息蒸馏网络层，生成边缘感知特征；

将所述RGB编码特征与所述边缘感知特征输入边缘信息引导的特征网络，生成具有边缘感知的高级语义特征；

对所述融合特征及所述高级语义特征进行上采样，采用逐层地融合解码器的特征，生成所述RGB-D图像对应的语义分割结果。