[发明专利]图像分割及其模型的训练方法，及其装置、设备、介质

权利要求书

1.一种图像分割模型的训练方法，其特征在于，包括：

获取若干样本图像；

利用包含所述若干样本图像的训练图像集，对图像分割模型进行训练，其中，所述图像分割模型用于预测目标对象的对象类别，所述目标对象的对象类别数量为目标数量；

其中，至少一个所述样本图像是对已标注的第一源域图像进行模态转换得到；和/或，

至少一个所述样本图像标注的所述对象类别数量小于所述目标数量，且所述若干样本图像标注的对象类别数量之和大于或等于所述目标数量；和/或，

所述训练图像集还包含对至少一个所述样本图像进行非线性变换得到的变换图像。

2.根据权利要求1所述的方法，其特征在于，在至少一个所述样本图像是对已标注的第一源域图像进行模态转换得到的情况下，所述获取若干样本图像，包括：

利用模态转换模型对所述第一源域图像进行至少一种模态转换，得到至少一张所述第一样本图像，其中每张所述第一样本图像是经过一种所述模态转换得到，且每种所述模态转换对应的目标域不同。

3.根据权利要求2所述的方法，其特征在于，所述利用模态转换模型对所述第一源域图像进行至少一种模态转换，得到至少一张所述第一样本图像，包括：

利用所述模态转换模型的目标风格编码器分别对所述至少一种目标域的第一参考图像进行风格提取，得到所述至少一种目标域的风格特征；

利用所述模态转换模型的目标内容编码器对所述第一源域图像进行内容提取，得到所述第一源域图像的语义信息；

对于每种所述目标域，利用所述模态转换模型的目标解码器，对所述语义信息和所述目标域的风格特征进行解码，生成所述目标域对应的第一样本图像。

4.根据权利要求3所述的方法，其特征在于，所述利用所述模态转换模型的目标风格编码器分别对所述至少一种目标域的第一参考图像进行风格提取，得到所述至少一种目标域的风格特征，包括：

利用所述目标风格编码器分别对所述至少一种目标域的第一参考图像进行风格提取，得到所述至少一种目标域的风格特征；

利用所述至少一种目标域的风格特征，构建风格库；以及

所述利用所述模态转换模型的目标解码器，对所述语义信息和所述目标域的风格特征进行解码，生成所述目标域对应的第一样本图像，包括：

响应于图像生成指令，从所述风格库中获取所述目标域的风格特征，利用所述目标解码器对所述语义信息和所述目标域的风格特征进行解码，生成所述目标域的第一样本图像。

5.根据权利要求2至4任一项所述的方法，其特征在于，所述利用模态转换模型对所述第一源域图像进行至少一种模态转换，得到至少一张所述第一样本图像之前，所述方法还包括：

利用第二源域图像和目标域的第二参考图像对所述模态转换模型进行生成对抗训练。

6.根据权利要求5所述的方法，其特征在于，所述模态转换模型包括目标风格编码器、目标内容编码器和目标解码器，以及所述利用第二源域图像和目标域的第二参考图像对所述模态转换模型进行生成对抗训练，包括：

利用风格编码器分别对所述第二源域图像和第二参考图像进行风格提取，得到所述第二源域图像和所述第二参考图像的第一风格信息；

利用内容编码器分别对所述第二源域图像和第二参考图像进行内容提取，得到所述第二源域图像和所述第二参考图像的第一语义信息；

基于所述第二源域图像的第一风格信息和所述第二参考图像的第一语义信息，利用解码器生成源域生成图像，以及基于所述第二参考图像的第一风格信息和所述第二源域图像的第一语义信息，利用解码器生成目标域生成图像；

对所述源域生成图像和目标域生成图像进行判别，并基于判别结果调整所述风格编码器、内容编码器和解码器的网络参数；其中，完成训练的所述风格编码器、内容编码器和解码器分别用于确定所述目标风格编码器、目标内容编码器和目标解码器。