[发明专利]一种基于语义内容和快速图像检索的照片级图像生成方法

权利要求书

1.一种基于语义内容和快速图像检索的照片级图像生成方法，其特征在于：其包括背景生成部分和前景生产部分，具体步骤如下：

S1,背景生成部分，包括以下步骤：

S1.1,获取用于训练背景图片生成模型的训练数据集：选取大量的彩色图像作为目标I_G，并且通过标注确定场景类别得到每张彩色图片的语义分割图I_s，并分别通过镜像和裁剪得到增广图片数据，以匹配数据对形式作为深度学习的训练数据集；

S1.2，将训练数据集中的彩色图像输入编码器网络执行特征提取阶段，在重建出其对应风格的高斯分布；

S1.3，将编码器网络重建所得的高斯分布作为生成器网络的输入，并辅助插入的语义图获得增强语义图特征并输出；

S1.4，将one-hot形式的语义图和生成器网络的输出结果的拼接矩阵输入判别器网络判别背景生成的真实程度，判别器网络的表达公式为：

I′_O＝ReLU((ReLU(W_d1*concat(I_s,F′)+B_d1)×W_d2+B_d2)…×W_dn+B_dn)

其中W_d1、W_d2、W_dn、B_d1、B_d2和B_dn分别表示第一个、第二个和第n个卷积层的权重和偏置参数，n为卷积层的个数，F′是生成器的输出，I_s表示反卷积阶段的输出；

S1.5，计算获取损失函数，具体为：

S1.5.1，利用生成器得到的生成图像与所对应的原始色彩图像进行比较，计算Perceptual Loss惩罚函数，该损失函数表示为：

其中，j表示网络的第j层，C_jH_jW_j表示第j层特征图的大小，φ表示网络；

S1.5.2，同时使用基于HingeLoss损失函数作为GAN的优化损失，损失函数为：

其中，D表示判别器，G表示生成器，z为隐变量，x代表输入，y为目标；

S1.5.3，使用MSE损失函数来进行点对点的损失计算；

S1.6，采用渐进训练策略训练背景图片生成模型，将训练过程分为预设的多个子训练周期，采用步进增长策略依次进行子训练周期的训练；训练开始时将原始图像缩放成小图片并佐以大学习率开始训练，且每完成一个子训练周期后逐步增大彩色原始图像并逐步减小学习率；当完成一个子训练周期后生成的彩色图像与其对应的原始色彩图像比较时没有获得预先设定的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数再执行S1.2；当在完成一个子训练周期后生成的彩色图像达到预期或完成所有预设的子训练周期的次数后，则获得最终结果；

S2,前景生成部分，包括以下步骤：

S2.1,前景生成数据集准备，为了训练涂鸦识别模型选取大量的涂鸦数据集作为训练数据；通过对涂鸦原始图像进行镜像和裁剪操作得到大量的增广图片数据，再将涂鸦数据根据标签存储到对应文件夹中；

S2.2,使用计算机视觉对涂鸦数据进行分块处理：对涂鸦数据的图片做腐蚀和膨胀操作处理，通过连通元素计算图中对应物体的区块个数，记录每个区块的中心点位置，再将区块分别缩放到固定尺度，

S2.3,分块图片输入深度模型的识别网络进行涂鸦识别，根据识别网络的反馈结果，通过得到的标签从对应的图片数据库中进行索引，采用最近邻模型得到近似度最高的图片并融合到背景的对应位置上。

2.根据权利要求1所述的一种基于语义内容和快速图像检索的照片级图像生成方法，其特征在于：S1.1中彩色图像初始大小均为3×256×256，分别对应颜色通道、图片宽度和高度；语义分割图初始大小均为1×256×256，采用一维来存储标签信息。