[发明专利]图像处理方法、装置以及存储介质

权利要求书

1.一种图像处理方法，包括：

构建通过文本生成图像的生成式对抗网络模型；其中，所述的生成式对抗网络模型包括：生成器和判别器；

将样本图像描述文本输入所述生成器，获得所述生成器输出的生成图像；

生成包含有与样本草图和所述生成图像的联合图像；其中，所述样本草图对应的图像特征与所述图像样本描述文本对应的图像特征相同；

将所述联合图像、所述样本图像描述文本输入所述判别器，获得判别结果；

根据所述判别结果生成所述生成式对抗网络模型的目标函数，基于所述目标函数对所述生成器和所述判别器进行调整；

使用调整后的所述生成器基于图像描述文本生成图像并输出。

2.如权利要求1所述的方法，所述获得判别结果信息包括：

获得用于表征所述生成图像与所述样本草图之间的相似度的第一判别结果；

获得用于表征所述生成图像为假的第二判别结果；和，

获得用于表征所述生成图像为真的第三判别结果。

3.如权利要求2所述的方法，还包括：

根据所述第一判别结果构建所述生成器的草图损失函数；

根据所述第二判别结果构建所述生成器的语义损失函数；

基于所述草图损失函数和所述语义损失函数构建生成器目标函数；

根据所述第三判别结果构建判别器损失函数；

基于所述生成器损失函数和所述判别器损失函数生成所述目标函数。

4.如权利要求3所述的方法，所述根据所述第一判别结果构建所述生成器的草图损失函数包括：

使用图像掩码对所述联合图像进行过滤处理，获得与所述生成图像对应的生成图像简笔图、与所述样本草图相对应的样本草图简笔图；

计算所述生成图像简笔图与所述样本草图简笔图之间的距离，其中，所述距离为所述第一判别结果，所述距离包括：KL距离、欧式距离；

基于所述距离构建用于确定所述生成图像简笔图与所述样本草图简笔图之间的相似度的所述草图损失函数。

5.如权利要求4所述的方法，所述根据所述第二判别结果构建所述生成器的语义损失函数包括：

获得判别所述生成图像为假的第一概率信息；其中，所述第一概率信息为所述第二判别结果；

基于所述第一概率信息构建所述语义损失函数。

6.如权利要求5所述的方法，所述基于所述草图损失函数和所述语义损失函数构建生成器目标函数包括：

确定与所述草图损失函数或所述语义损失函数相对应的加权值；

基于所述草图损失函数、所述语义损失函数以及所述加权值生成所述生成器目标函数。

7.如权利要求6所述的方法，所述将样本图像描述文本输入所述生成器包括：

使用编码器将所述样本图像描述文本转换为用于表示图像特征的输入向量；

获得与所述样本图像描述文本相对应的随机变量；

将所述输入向量和所述随机变量相结合，输入所述生成器。

8.如权利要求7所述的方法，其中，

所述生成器目标函数为：

L1＝D_KL(M⊙y，M⊙G(z，φ(t)))+λlog(1-D(G(z，φ(t))))；

其中，M为图像掩码，z为所述随机变量，φ(t)为所述输入向量，y为所述样本草图，G(z，φ(t)为所述生成图像，M⊙y为所述样本草图简笔图，M⊙G(z，φ(t))为所述生成图像简笔图，D_KL为所述草图损失函数，D(G(z，φ(t))为生成器输出的所述生成图像为与所述样本图像描述文本相对应的真实图像的概率；1-D(G(z，φ(t))为所述第一概率信息，λ为所述加权值。

9.如权利要求6所述的方法，所述根据所述第三判别结果构建判别器损失函数包括：

获得判别所述生成图像为真的第二概率信息；其中，所述第二概率信息为所述第三判别结果；

基于所述第二概率信息构建所述判别器损失函数。