[发明专利]一种基于语义内容和快速图像检索的照片级图像生成方法

说明书

本发明公开一种基于语义内容和快速图像检索的照片级图像生成方法，其包括背景生成部分和前景生产部分，背景生成部分通过对抗生成网络，使生成的背景图片逼真，接近真实场景；前景生成部分使用计算机视觉对涂鸦数据进行分块处理后输入深度模型的识别网络进行涂鸦识别，根据识别网络的反馈结果，通过得到的标签从对应的图片数据库中进行索引，采用最近邻模型得到近似度最高的图片并融合到背景的对应位置上，采用图像检索的方式来生成前景，最后将前背景叠加，生成的照片更加真实完美。

技术领域

本发明涉及图像生成和图像检索领域，尤其涉及一种基于语义图和图像检索的实景图片生成方法。

背景技术

基于深度学习的图像生成是一种较新的人工智能技术，旨在简单的用户交互和图像的先验知识，采用人工智能技术根据用户所绘制的构图方式自动生成其对应的图片。随着对抗生成网络的兴起，图像及视频内容生成已经普及到普通用户的手中。目前，不仅通过计算机，包括手机和平板等基于单片机的便携设备也可以体验到图片生成应用的魅力。然而，由于模型复杂度和训练数据匮乏等因素制约，生成的图片往往不尽人意，达不到真实图片的效果。再者，每个用户对于美的理解有所不同，图片生成在审美方面往往存在诸多不足。因此，为了使生成图片质量尽善尽美，以及提高用户体验的情况下达到用户预期，本发明亟需一种更好的照片级图像生成方法。

图形学专家和计算机科学家不断地在考虑图像生成问题。对于生成模型，最大的问题在于机器难以理解输入数据，而且在此基础上还要生成创造与输入数据相同分布的结果。并且，用户输入还有别于训练数据，甚至有时候分布与输入数据更是相去甚远，机器更是难以通过已训练的模型得出较好的泛化效果。

随着Goodfellow提出的生成对抗网络^【1】(Generative adversarial networks:GAN)的出现，使得图片生成问题在传统方法的基础上得到了长足的进步。一个生成对抗网络中包含了两个神经网络，生成器和判别器，它们的对抗学习使自己变得日臻完善，从而得到逼近于真实数据的效果。近年来，许多基于GAN的方法如雨后春笋般提出，其中包括最基础的DCGAN^【2】，条件GAN^【3】，以及Pix2Pix^【4】和较为复杂的CycleGAN^【5】等。虽然基于GAN的相关研究已经取得了较好的效果，但其方法基本都应用于学习待转换的图像与参考图像之间映射关系，达到生成的图像更接近真实图像，更加逼真。

通过归纳总结，本发明基本可以把基于生成对抗网络的图像生成问题的解决方案分为三类，分别是直接法，层级法和迭代法。首先，就直接法是最直观的图像生成方法，使用单个生成器和单个判别器作为模型，没有其他分支。早期的GAN模型基本都属于这种方法，例如上文提到的GAN和DCGAN。它们的生成器基本由卷积层，批归一化层和ReLU激活函数构成；与直接法不同的是，层级法采用不止一对生成器和判别器来加强生成效果。这种思想一般是将一个图片当成不同的多部分来考虑，例如“结构”与“风格”，或是“前景”与“背景”。以SS-GAN^【6】为例，它将其网络部分分成两对对抗生成网络，Structure-GAN负责生成更好的主体结构，而Style-GAN负责图片风格的生成；比较特殊的是迭代法，迭代法的模型中包含了多对相同或相似结构的生成器和判别器，通过迭代的方式，不断精炼使得生成图像更加完善。Progressive-GAN^【7】就是先训练一对生成器和判别器，从4×4分辨率开始，逐级增加到1024×1024，直到生成高清的人脸图像。

发明内容

本发明的目的在于提供一种基于语义内容和快速图像检索的照片级图像生成方法，通过对抗生成网络，使生成的背景图片逼真，接近真实场景；再采用图像检索的方式来生成前景，最后将前背景叠加，得到符合用户要求的结果，达到用户审美上的肯定。

本发明采用的技术方案是：

一种基于语义内容和快速图像检索的照片级图像生成方法，其包括背景生成部分和前景生产部分，具体包括以下步骤：