[发明专利]融合多尺度特征空间与语义空间的语义分割网络

摘要

本发明涉及一种融合多尺度特征空间与语义空间的语义分割网络，包括：确定网络编码端的主干网络：VGG16作为编码端网络的主干部分，去掉第五个池化层，减少一次下采样；设计网络解码端的特征空间与语义空间的融合模块；利用多尺度特征空间与语义空间的融合模块进行高分辨率高精度语义分割；输出语义分割结果。

主权项

1.一种融合多尺度特征空间与语义空间的语义分割网络，包括：(1)确定网络编码端的主干网络：VGG16作为编码端网络的主干部分，去掉第五个池化层，减少一次下采样；(2)设计网络解码端的特征空间与语义空间的融合模块：针对解码端的某一尺度，融合模块将三条支路的输出串联起来，第一条支路是主干网络支路，融合之前网络的最后一层经过1x1卷积做通道间融合和通道方向的降维，再经过一次倍数为2的上采样；第二条支路为跳连接支路，即使用一个或几个卷积层，对编码端相对于当前主干网络最后一层高一个尺度的特征图进行特征融合和通道方向的降维；第三条支路为各类别像素区域的结构化语义生成支路，即对主干网络当前尺度的特征采用1x1卷积做类别预测，得到与数据库标签类别数相同的预测得分图，这一支由真实语义分割标签进行类别独立的监督，监督使用sigmoid交叉熵损失函数，减少多类类间竞争，获得属于各类的二分类预测图，将每一类别区域作为一个整体处理以加强各类的结构化信息，增强同类像素区域的紧凑性，融合之前需要先将预测得分使用sigmoid函数激活后再进行倍数为2的上采样；三部分相连之后使用一个3x3卷积层来融合三部分信息，紧接着使用一个3x3卷积进行降维；(3)利用多尺度特征空间与语义空间的融合模块进行高分辨率高精度语义分割：在网络的解码端的多个尺度使用特征空间与语义空间的融合模块，通过引入高分辨率编码端更加准确的定位信息，同时利用特征和预测标签之间的相互促进作用，不断地对解码端特征和预测进行改进，直到获得较高分辨率的特征，并利用softmax交叉熵损失作为最后生成的预测的监督，在较小尺度的类别独立的监督强调类内的一致性，在较大尺度的多类竞争的监督加强类间的区分性，从而得到高分辨率高精度的语义分割预测结果；(4)输出语义分割结果：给定输入图像，经过编码端网络的特征提取，解码端多尺度特征空间与语义空间的融合，得到高分辨率的预测图，预测图经过上采样到与图像一致的尺度，进而得到输入图像的像素级语义分割图。