[发明专利]语义分割图像转换方法、装置、计算机设备和存储介质

权利要求书

1.一种语义分割图像转换方法，其特征在于，所述方法包括：

接收采集设备采集的初始实景图像；

对所述初始实景图像进行语义分割处理，生成对应所述初始实景图像的语义分割图像；

将所述语义分割图像输入多模态条件生成对抗网络，输出对应所述语义分割图像的多个实景图像，所述多个实景图像中各实景图像的内容模态不同，所述多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，所述预设的调控函数根据各不同内容模态的实景图像以及对应各不同内容模态的实景图像的生成参数确定。

2.根据权利要求1所述的方法，其特征在于，所述对所述初始实景图像进行语义分割处理，生成语义分割图像之前，还包括：

对所述初始实景图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始实景图像；

所述对所述初始实景图像进行语义分割处理，生成对应所述初始实景图像的语义分割图像，包括：

对所述图像尺寸归一化处理后的初始实景图像进行语义分割处理，生成对应所述图像尺寸归一化处理后的初始实景图像的语义分割图像。

3.根据权利要求1所述的方法，其特征在于，所述将所述语义分割图像输入多模态条件生成对抗网络，输出对应所述语义分割图像的多个实景图像，包括：

通过多模态条件生成对抗网络中的编码器对所述语义分割图像进行特征提取，生成对应所述语义分割图像的特征图；

通过多模态条件生成对抗网络中的生成器对所述特征图进行解码转换，得到对应所述语义分割图像的多个实景图像。

4.根据权利要求3所述的方法，其特征在于，所述通过多模态条件生成对抗网络中的生成器对所述特征图进行解码转换，得到对应所述语义分割图像的多个实景图像，包括：

通过所述生成器配置多个不同的生成参数，并根据各所述生成参数以及所述特征图，生成对应所述语义分割图像的多个实景图像。

5.根据权利要求1所述的方法，其特征在于，所述多模态条件生成对抗网络的生成方式包括：

获取训练集图像；

将所述训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实景图像；

根据各所述预测实景图像以及所述训练集图像，生成对应各所述预测实景图像的各图像集；

将各所述图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；

基于各所述鉴别结果，调整所述初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。

6.根据权利要求5所述的方法，其特征在于，所述根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还包括：

存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值；

所述得到训练完成的多模态条件生成对抗网络，包括：

确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。

7.根据权利要求5所述的方法，其特征在于，所述基于各所述鉴别结果，调整所述初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，包括：

根据各所述鉴别结果，计算所述初始多模态条件生成对抗网络的损失值，并基于所述损失值对所述初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络；

根据各鉴别结果为真的预测实景图像以及对应的各所述生成参数，基于预设的调控函数确定各预测实景图像之间的差异指标，并基于各所述差异指标对所述初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络；

根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。