[发明专利]语义分割网络训练方法、图像语义分割方法及装置

权利要求书

1.一种语义分割网络训练方法，其特征在于，所述方法包括：

获取待训练图像；

将所述待训练图像输入传统特征提取子网络，得到包含待训练图像的区块特征和整体特征的预提取特征图；

利用掩膜卷积特征提取子网络对所述预提取特征图进行掩膜卷积运算，提取出所述待训练图像的边缘特征；

将所述预提取特征图和所述待训练图像的边缘特征进行加权叠加，得到包含待训练图像的区块、整体和边缘特征的特征图；

将包含所述待训练图像的区块、整体和边缘特征的特征图输入第一图像还原子网络进行像素分类，得到网络隐藏层输出；

利用第二图像还原子网络对所述网络隐藏层输出进行金字塔掩膜卷积运算以恢复所述网络隐藏层输出的边缘损失，直至恢复边缘损失后的网络隐藏层输出与所述待训练图像的尺寸一致，得到语义分割图，其中，传统特征提取子网络、掩膜卷积特征提取子网络、第一图像还原子网络和第二图像还原子网络构成语义分割网络；

依据所述语义分割图对所述语义分割网络进行参数更新。

2.如权利要求1所述的方法，其特征在于，所述传统特征提取子网络包括多个卷积层及与每个卷积层对应的多个池化层。

3.如权利要求2所述的方法，其特征在于，所述掩膜卷积特征提取子网络包括卷积层、Argmax层、上采样层、掩膜卷积层；

所述利用掩膜卷积特征提取子网络对所述预提取特征图进行掩膜卷积运算，提取出所述待训练图像的边缘特征的步骤，包括：

依据所述预提取特征图，利用卷积层和Argmax层生成预提取识别图；

获取下采样后特征图，其中，所述下采样后特征图是利用所述传统特征提取子网络中的池化层对所述预提取特征图进行尺度下降处理得到的；

依据所述下采样后特征图，利用上采样层、卷积层和Argmax层生成下采样后识别图；

将所述预提取识别图和所述下采样后识别图均输入所述掩膜卷积层生成边缘掩膜，并对所述边缘掩膜进行卷积运算，提取出所述待训练图像的边缘特征。

4.如权利要求2所述的方法，其特征在于，所述掩膜卷积特征提取子网络包括卷积层、Argmax层、上采样层、掩膜卷积层；

所述利用掩膜卷积特征提取子网络对所述预提取特征图进行掩膜卷积运算，提取出所述待训练图像的边缘特征的步骤，包括：

获取所述待训练图像的原始标签图；

对所述原始标签图进行多次下采样，得到与所述预提取特征图尺寸一致的下采样后标签图；

获取下采样后特征图，其中，所述下采样后特征图是利用所述传统特征提取子网络中的池化层对所述预提取特征图进行尺度下降处理得到的；

依据所述下采样后特征图，利用上采样层、卷积层和Argmax层生成下采样后识别图；

将所述下采样后标签图和所述下采样后识别图均输入所述掩膜卷积层生成边缘掩膜，并对所述边缘掩膜进行卷积运算，提取出所述待训练图像的边缘特征。

5.如权利要求1所述的方法，其特征在于，所述第二图像还原子网络包括上采样层和掩膜卷积层；

利用所述第二图像还原子网络对所述网络隐藏层输出进行金字塔掩膜卷积运算以恢复所述网络隐藏层输出的边缘损失，直至恢复边缘损失后的网络隐藏层输出与所述待训练图像的尺寸一致，得到语义分割图的步骤，包括边缘损失恢复子步骤和迭代子步骤；其中，

所述边缘损失恢复子步骤包括：

对所述网络隐藏层输出进行Argmax运算，得到网络输出标签图；

对所述待训练图像的原始标签图进行预设次数下采样，以使下采样后的原始标签图与所述网络输出标签图的尺寸一致；

将所述网络输出标签图和下采样后的原始标签图均输入所述掩膜卷积层生成边缘掩膜，并对所述边缘掩膜进行卷积运算，得到掩膜特征图；

利用所述上采样层对所述网络输出标签图进行上采样，并将所述掩膜特征图和上采样后的所述网络输出标签图进行加权叠加，得到尺度增加特征量；

所述迭代子步骤包括：

以所述网络隐藏层输出的尺度增加特征量替代所述边缘损失恢复子步骤中的网络隐藏层并执行所述边缘损失恢复子步骤以恢复所述网络隐藏层输出的边缘损失，直至恢复边缘损失后的网络隐藏层输出与所述待训练图像的尺寸一致，得到语义分割图。