[发明专利]多模态边缘实体图像转换方法、装置、计算机设备和介质

说明书

本申请涉及一种多模态边缘实体图像转换方法、装置、计算机设备和存储介质。所述方法包括：获取终端设备采集的素描边缘图像；将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，多个实体图像中各实体图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。采用本方法能够提升生成的实体图像的多样性。

技术领域

本申请涉及图像生成术领域，特别是涉及一种多模态边缘实体图像转换方法、装置、计算机设备和介质。

背景技术

在图像生成与转换应用中，有时需要根据素描边缘图像生成实体图像，例如，根据手工绘制的包或者是鞋子的边缘轮廓，转换为实体场景对应的包或者是鞋子等。

在传统方式中，通常一种素描边缘图像仅能一个实体图像，从而使得输出的实体图像较为单一，缺乏多样性。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升生成的实体图像的多样性的多模态边缘实体图像转换方法、装置、计算机设备和介质。

一种多模态边缘实体图像转换方法，所述方法包括：

获取终端设备采集的素描边缘图像；

将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，多个实体图像中各实体图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实体图像以及对应各不同内容模态的实体图像的生成参数确定。

在其中一个实施例中，将素描边缘图像输入多模态条件生成对抗网络之前，还包括：

对素描边缘图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的素描边缘图像；

将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，包括：

将图像尺寸归一化处理后的素描边缘图像输入多模态条件生成对抗网络，输出对应尺寸归一化处理后的素描边缘图像的多个实体图像。

在其中一个实施例中，将素描边缘图像输入多模态条件生成对抗网络，输出对应素描边缘图像的多个实体图像，包括：

通过多模态条件生成对抗网络中的编码器对素描边缘图像进行特征提取，生成对应素描边缘图像的特征图；

通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应素描边缘图像的多个实体图像。

在其中一个实施例中，通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应素描边缘图像的多个实体图像，包括：

通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应素描边缘图像的多个实体图像。

在其中一个实施例中，多模态条件生成对抗网络的生成方式包括：

获取训练集图像；

将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测实体图像；

根据各预测实体图像以及训练集图像，生成对应各预测实体图像的各图像集；

将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；

基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。