[发明专利]一种图像语义分割模型训练方法及系统

说明书

本发明实施例提供一种图像语义分割模型训练方法及系统。该方法包括：获取用于训练分割网络的训练数据；将所述训练数据输入至图像语义分割网络，进行目标域图像语义分割网络的训练；其中所述训练数据是由预先训练好的训练数据合成网络和合成的伪标签所得到。本发明实施例通过采用生成对抗网络合成目标任务上的语义分割标签，采用基于领域自适应机制的训练数据合成网络生成训练数据，采用基于注意力机制的图像分割网络，来优化目标语义区域的分割效果。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像语义分割模型训练方法及系统。

背景技术

图像语义分割是一项具有挑战性的识别任务，它指的是给图像中每个像素值指定一个其所属语义实体的类别。一般弱监督语义分割采用的弱监督信息为image-level的类别信息，并没有像素级的语义分割标签。

目前的半监督学习方法，准确率并不理想，即获取具有良好泛化性能的分割模型通常需要在监督学习的情况下完成，这需要规模庞大且专业的数据标注，语义分割标注是逐像素的，标注工作量大，标注周期长，因此需要提出一种新型的在半监督学习的情况下进行语义分割的方法。

已有的基于合成图像技术的半监督分割方法，首先合成目标任务上的影像，之后利用现有数据的标签，分割模型通过半监督学习进行训练，其基本思想是通过拉近输入数据的边缘分布，来适应不同领域的预测，合成目标域影像的方法大致有基于人工定义的度量和基于生成对抗网络两种，然而这两种合成方法在保留语义方面均不够理想。

发明内容

本发明实施例提供一种图像语义分割模型训练方法及系统，用以解决现有技术中存在的缺陷。

第一方面，本发明实施例提供一种图像语义分割模型训练方法，包括：

获取用于训练分割网络的训练数据；

将所述训练数据输入至图像语义分割网络，进行目标域图像语义分割网络的训练；其中所述训练数据是由预先训练好的训练数据合成网络和合成的伪标签所得到。

进一步地，所述获取用于训练分割网络的训练数据，之前包括：构建语义分割标签合成网络、基于领域自适应机制的训练数据合成网络和基于注意力机制的图像语义分割网络；其中：

所述语义分割标签合成网络包括自编码器和鉴别器，其中所述自编码器包括编码器和解码器；

所述训练数据合成网络包括两个生成器、图像鉴别器和域鉴别器；

所述图像语义分割网络包括下采样编码阶段、上采样编码阶段和基于注意力机制的跳层连接。

进一步地，所述编码器的输入为随机噪声，所述解码器的输入为所述编码器的最后全连接层输出，所述解码器的输出为所述伪标签，所述鉴别器的输入为所述自编码器输出的预测图像或真实语义分割标签；

所述生成器包括特征提取阶段、自适应特征融合阶段和上采样阶段，所述特征提取阶段用于对预处理后输入的图像进行特征抽取与编码，所述自适应融合阶段用于对所述特征提取阶段产生的特征图进行再编码，完成具体语义信息与抽象语义信息的整合，所述上采样阶段用于完成由特征编码到输出合成图像的转换，所述图像鉴别器和所述域鉴别器均包括特征提取模块和预测模块，所述预测模块为一步卷积操作，用于将所述特征提取模块得到的特征图转换为预测图；

所述跳层连接包括将所述下采样编码阶段的若干最大池化操作输出的特征图，分别通过注意力门与所述上采样解码阶段的若干反卷积输入特征图进行通道上的级联。

进一步地，所述构建语义分割标签合成网络，进一步包括训练所述语义分割标签合成网络，具体包括：

获取目标任务的若干语义分割标签，根据所述目标任务对所述若干语义分割标签进行数据增强；