[发明专利]门机制引导边缘信息蒸馏的RGB-D图像语义分割方法及终端

权利要求书

1.一种基于门机制引导边缘信息蒸馏的RGB-D图像语义分割方法，其特征在于，包括：

获取待语义分割的RGB-D图像，所述RGB-D图像包括RGB图像和所述RGB图形对应的深度图像；

将所述RGB图像和所述RGB图像对应的深度图像输入预先训练好的神经网络，得到所述RGB-D图像对应的语义分割结果；其中，所述神经网络包括：特征提取网络层、门机制引导的特征融合网络层、边缘信息蒸馏网络层及多层特征融合网络层；所述神经网络是根据样本RGB-D图像及所述样本RGB-D图像对应的样本标识图像训练得到。

2.如权利要求1所述的基于门机制引导边缘信息蒸馏的RGB-D图像语义分割方法，其特征在于，所述将所述RGB图像和所述RGB图形对应的深度图像输入预先训练好的神经网络，得到所述RGB-D图像对应的语义分割结果，具体包括：

将所述RGB-D图像输入所述特征提取网络层，提取所述RGB-D图像多个层级的RGB编码特征和深度编码特征；

将多个层级中每层的RGB编码特征和深度编码特征输入所述门机制引导的特征融合网络层，得到与每层对应的融合特征及具有互补性的特征；

将每个层级的所述具有互补性的特征输入所述边缘信息蒸馏网络层，生成边缘感知特征；

将所述RGB编码特征与所述边缘感知特征输入边缘信息引导的特征网络，生成具有边缘感知的高级语义特征；

对所述融合特征及所述高级语义特征进行上采样，采用逐层地融合解码器的特征，生成所述RGB-D图像对应的语义分割结果。

3.如权利要求2所述的基于门机制引导边缘信息蒸馏的RGB-D图像语义分割方法，其特征在于，所述将多个层级中每层的RGB编码特征和深度编码特征输入所述门机制引导的特征融合网络层，得到与每层对应的融合特征的流程为：

Ca_i＝F(C(Mx_i，Md_i))

g_i＝Mx′_i*X_i+Md′_i*D_i

Mx_i，Md_i分别表示在骨干网络中第i层压缩后为单通道的彩色特征图和深度特征图，C表示级联操作，Ca代表通过比较函数F生成的特征图，将其切分为Mx′_i和Md′_i其中Mx_i'＝Sigmoid(W_i*MX_i),Mdi'＝Tanh(W_i*MD_i)，分别表示重要程度的概率图，g_i代表最终具有选择性的高效的特征图。

4.如权利要求2所述的基于门机制引导边缘信息蒸馏的RGB-D图像语义分割方法，其特征在于，所述将每个层级的所述具有互补性的特征输入所述边缘信息蒸馏网络层，生成边缘感知特征,具体包括：

采用如下公式对每个门机制生成的特征图进行蒸馏，生成边缘感知特征；

其中，g_i表示第i个门机制生成的特征图，σ表示sigmoid激活函数，E_θ为具有鉴别性精确的边缘特征图。

5.如权利要求1所述的基于门机制引导边缘信息蒸馏的RGB-D图像语义分割方法，其特征在于，所述将所述RGB-D图像输入所述特征提取网络层，提取所述RGB-D图像多个层级的RGB编码特征和深度编码特征的步骤之后还包括：对所述RGB编码特征采用边缘特征作为细节信息来指导语义特征的生成。