[发明专利]基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法

说明书

本发明提出了一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，通过生成器和判别器的对抗训练，使得生成器最终能够将给定的图片编辑为与文本描述相匹配的图片。主要包括以下步骤：获取文本与图片匹配的数据集、搭建基于生成对抗网络的生成对抗模型；通过梯度下降法迭代训练生成网络和判别网络。最终获得一个能够有效根据文本编辑已有图片的生成器。本发明通过生成器中的动态编辑模块以及动态卷积模块，将文本信息融合进图片解码过程中；通过对判别器的零中心匹配梯度惩罚，促使生成器生成的图片与给定的文本匹配；有效地解决了编辑的图片细节缺失，编辑后的图片与给定文本不匹配的问题。

技术领域

本发明涉及根据文本编辑图像算法，具体涉及一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，属于模式识别领域。

背景技术

随着深度学习的发展，计算机视觉与机器学习方法的性能都取得很大的提高。并且深度学习模型已经在图像处理，自然语言处理以及图像生成领域取得了令人惊讶的成功。尤其是图像生成模型，在当前短视频社交软件平台，通过特效生成，风格迁移，使其得到了广泛的应用。基于生成对抗网络的模型，通过同时训练一个生成网络和一个判别网络，并让其互相进行对抗训练来使得生成网络最终可以生成非常真实的图片。尽管当前的生成对抗网络已经可以生成质量非常高的图片，但是在图像编辑任务上，依然有所欠缺，主要表现在当前的图像编辑任务，无法通过一种直接简洁的方式，使得一个模型实现多目标的编辑；所以通过一种方便，简洁的方式来控制编辑的内容成了当前图像编辑任务中非常重要的研究方向。而文本作为人类社会最常用的交流媒介，其直观性和简洁性远远超过其他媒介，这也使得当前人工智能时代涌现出很多基于文本的智能应用，例如人工智能客服，智能文本生成等。文本的直观简洁也为生成对抗网络的可控生成指出了一条方向，我们需要将文本与生成对抗网络连接在一起，在确保生成内容的多样性的同时，也要保证生成内容受文本的控制，从而提高生成对抗网络的生成内容可控性，便于生成对抗网络投入到实际应用中。基于文本编辑图像的的生成对抗网络需要做到两点：一是要确保编辑后图像的真实性，二是编辑后的图片与给定的文本相符。

发明内容

本发明的目的是：针对现有根据文本编辑图像技术存在的问题，提出一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法。

本发明主要采用以下技术方案：

一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，主要包括以下步骤：

步骤(1)：获取训练数据集，其中每个样本都由文本和图像对组成；

步骤(2)：搭建生成对抗网络模型，所述生成对抗网络模型由生成器和判别器组成，其中生成器包括编码器和图片解码器和语义解码器；

步骤(3)：文本编码器将文本编码为向量输入给步骤(2)所述生成器和判别器；

步骤(4)：训练判别器，在训练过程中，需要对三类数据做出判断，分别是真实的图片和匹配的句子，生成的图片和匹配的句子，以及真实的图片与不匹配的句子；；

步骤(5)：对判别器的零中心匹配梯度惩罚，促使生成的图片与给定的文本匹配；

步骤(6)：训练生成器，在训练过程中，提出了一个动态编辑模块来融合文本信息和图像特征；

步骤(7)：将训练好判别器和生成器的生成对抗网络模型用于根据文本编辑图像的任务。

进一步的，步骤(1)所述的数据集里，每一张图片对应一句或多句相应的文本描述，文本大致描述了图像中的对象与事件，每条文本的长度在5到40个单词之间。

进一步的，所述步骤(2)中，采用了一个由编码器和解码器的生成对抗网络，此网络在生成过程中，通过编码器降采样输入的图像，再通过解码器上采样编码的图像特征，文本信息在解码过程中融入到图像编码特征中。