[发明专利]一种针对RGB-D图像的语义分割方法及装置

权利要求书

1.一种针对RGB-D图像的语义分割方法，其特征在于，包括：

获得待语义分割的RGB-D图像，所述RGB-D图像包括：红绿蓝三通道RGB图像和所述RGB图像对应的深度图像；

将所述RGB-D图像所包括的RGB图像和深度图像输入至预先训练的神经网络，得到所述RGB-D图像对应的目标标识图像；其中，所述RGB图像输入至所述神经网络的分支网络组中的一个分支网络层，所述深度图像输入至所述分支网络组中的另一个分支网络层；其中，所述神经网络包括：顺次连接的所述分支网络组、特征融合网络层和输出网络层，所述分支网络组包括作为并列分支的两个分支网络层，每个分支网络层为对输入图像进行特征提取的特征提取层；所述神经网络是根据样本RGB-D图像、所述样本RGB-D图像对应的样本标识图像训练得到，所述样本RGB-D图像包括样本RGB图像和样本深度图像，任一样本RGB-D图像对应的样本标识图像为：该样本RGB-D图像所包括的样本RGB图像对应的语义分割结果。

2.根据权利要求1所述的方法，其特征在于，每个分支网络层包括串行连接的三个卷积模块。

3.根据权利要求2所述的方法，其特征在于，第一分支网络层中每个目标卷积模块的输入内容包括：该目标卷积模块的上一卷积模块的输出内容，以及第二分支网络层中与所述上一卷积模块位置对应的卷积模块的输出内容；

其中，所述第一分支网络层为所述RGB图像所在的分支网络层，所述第二分支网络层为所述深度图像所在的分支网络层，任一目标卷积模块为所述第一分支网络层中除第一个卷积模块以外的卷积模块。

4.根据权利要求1所述的方法，其特征在于，所述特征融合网络层的特征融合方式，包括：

将所述两个分支网络层分别输出的特征图谱的通道对应串联的方式。

5.根据权利要求1所述的方法，其特征在于，所述特征融合网络层和输出网络层通过特征选择网络层相连接；其中，所述特征选择网络层包括：顺次连接的池化子层、第一全连接子层和第二全连接子层；

所述池化子层用于：对所述特征融合网络层输出的融合后的特征图谱进行最大池化计算，得到最大池化的计算结果，并将所述计算结果作为第一组惩罚系数；

所述第一全连接子层用于：将所述第一组惩罚系数和所述第一全连接子层的神经元的权重进行计算，得到第一计算结果，并将所述第一计算结果作为第二组惩罚系数，利用sigmoid激活函数将所述第二组惩罚系数的数值归一化，得到第三组惩罚系数；

所述第二全连接子层用于：将所述第三组惩罚系数和所述第二全连接子层的神经元的权重进行计算，得到第二计算结果，并将所述第二计算结果作为第四组惩罚系数，利用sigmoid激活函数将所述第四组惩罚系数的数值归一化，得到第五组惩罚系数，利用所述第五组惩罚系数对所述融合后的特征图谱进行加权计算，得到第一特征图谱。

6.一种针对RGB-D图像的语义分割装置，其特征在于，包括：

获得模块，用于获得待语义分割的RGB-D图像，所述RGB-D图像包括：红绿蓝三通道RGB图像和所述RGB图像对应的深度图像；

计算模块，用于将所述RGB-D图像所包括的RGB图像和深度图像输入至预先训练的神经网络，得到所述RGB-D图像对应的目标标识图像；其中，所述RGB图像输入至所述神经网络的分支网络组中的一个分支网络层，所述深度图像输入至所述分支网络组中的另一个分支网络层；其中，所述神经网络包括：顺次连接的所述分支网络组、特征融合网络层和输出网络层，所述分支网络组包括作为并列分支的两个分支网络层，每个分支网络层为对输入图像进行特征提取的特征提取层；所述神经网络是根据样本RGB-D图像、所述样本RGB-D图像对应的样本标识图像训练得到，所述样本RGB-D图像包括样本RGB图像和样本深度图像，任一样本RGB-D图像对应的样本标识图像为：该样本RGB-D图像所包括的样本RGB图像对应的语义分割结果。

7.根据权利要求6所述的装置，其特征在于，每个分支网络层包括串行连接的三个卷积模块。