[发明专利]基于编码器-解码器的RGB-D多尺度语义分割方法

权利要求书

1.一种基于编码器-解码器的RGB-D多尺度语义分割方法，其特征在于包含以下步骤：

步骤1：构建RGB编码器模块，从RGB图像中进行颜色特征提取；

步骤2：构建Depth编码器模块，从depth图像中进行深度特征提取；

步骤3：对RGB特征和depth特征进行多模态信息融合；

步骤4：RGB编码器轻量化，减少网络的参数量及运算量，提高预测的实时性；

步骤5：构建RGB-D解码器模块，融入多尺度特征融合方法，提高语义分割的精确度；

所属步骤1中的RGB编码器模块由CBR块构成，即Conv块、BN块和ReLU块的组合，图片先经过Conv卷积层卷积，然后在BN层中规格化，最后通过ReLU激活函数归一化提取出RGB图像不同阶段的颜色特征；

所属步骤2中的Depth编码器模块同意由由CBR块构成：即Conv块、BN块和Relu块的组合，图片先经过Conv卷积层卷积，然后在BN层中规格化，最后通过ReLU激活函数归一化提取出RGB图像不同阶段的深度特征；

所属步骤3中的融合过程采用稀疏融合的方式，将每一阶段所提取的深度特征插入到RGB编码器对应阶段的池化层前面进行融合；

所属步骤4中的RGB编码器轻量化使用深度可分离卷积代替卷积层中的传统卷积，先对空间维度进行卷积操作,再对通道维度进行卷积操作；

所属步骤5中的RGB-D解码器模块中首先使用CBR块替代反卷积层作为网络上采样的主要方式，每个CBR块的前面都有一个上采样层，将上层CBR块的输出进行2倍上采样；然后，从倒数第三层的CBR块开始，将相邻层中前一层的输入使用双线性插值进行2倍上采样，与后一层输入相加，从而保留上层中的空间信息，完成多尺度分割。