[发明专利]一种基于CNN的用户交互式图像局部服饰风格迁移方法

说明书

本发明公开了一种基于CNN的用户交互式图像局部服饰风格迁移方法，该方法包括：(1)将内容图和风格图输入到CNN映射得到内容特征和风格特征；(2)利用GrabCut算法交互式分割内容图，用一个矩形将局部服饰框住并提取，生成局部服饰轮廓图；(3)将轮廓图转化为二值图，进行距离变换，生成距离变换矩阵；(4)利用幂级运算增大局部服饰轮廓内部与外部的距离，形成轮廓特征；(5)根据特征计算随机噪声图的内容损失、风格损失和轮廓损失；(6)综合三类损失并加入正则项，以对边界区域进行平滑去噪。本发明采取用户交互式的方法，对图片引入轮廓损失以实现对服装形状的保留以及风格迁移区域的限制，高效地实现了局部服饰的风格迁移。

技术领域

本发明涉及图像处理与识别技术领域，尤其是一种基于CNN的用户交互式图像局部服饰风格迁移方法。

背景技术

图像风格迁移是指从一幅图片中提取出风格，并应用于另一张图片中。最初在视觉领域，图像渲染一般被认为是纹理合成的拓展问题，通过纹理建模生成新图像，但是此方法生成的图像质量不高。也有研究尝试利用生成式对抗网络(GAN)进行风格迁移，虽然取得了很好的迁移效果，但需要注意的是基于GAN的方法并不稳定，它的生成过于自由，需要很好的约束其生成空间才能稳定地生成合理的结果，并且生成式对抗网络作为一种数据驱动的方法，大量的数据是前提，当数据量不能满足时，方法很难有效。近年来图像风格迁移研究主要集中于通过卷积神经网络对内容和风格进行特征映射，不断降低内容特征和风格特征的损失来迭代生成新图像，取得了不错的成果，但是这类算法在风格迁移的过程中不能很好的保留内容细节，以及缺乏内容图像中包含的语义和深度信息。如若直接应用到服装的时尚风格迁移上，生成的衣服图片分辨率很低，衣服形状会变形且保留原始衣服的颜色，风格无规律的迁移到背景上，而不是局部服饰上，造成服装与新风格难以融合。

发明内容

为了将风格迁移应用到时尚领域，实现对时尚服装的风格设计，本发明利用用户交互式GrabCut算法进行图像分割，用户只需要用一个矩形将局部服饰框住即可提取服饰轮廓图，并结合卷积神经网络，引入轮廓损失以实现对服装形状的保留以及风格迁移区域的限制，弥补了衣服形状变形，无法与新风格融合等不足之处。本发明采取简单的用户交互式方法，可得到图画风格只与局部服饰融合的新的服装样式，实现了用户交互式图像局部服饰风格迁移。

本发明解决其技术问题所采用的技术方案是：一种基于CNN的用户交互式图像局部服饰风格迁移方法，包括以下步骤：

步骤1：将一张服饰图作为内容图，将一张图画作为风格图，输入到CNN网络进行特征映射得到内容特征和风格特征；

步骤2：利用GrabCut算法进行交互式图像分割，用一个矩形将步骤1中的内容图中需要进行风格迁移的局部服饰框住，标注为未知；将局部服饰之外的区域标注为背景，根据高斯混合模型来计算矩形框内未知像素属于背景或目标的概率，从而将图像分割为背景和目标，提取矩形框里的目标，即局部服饰，生成局部服饰轮廓图；

步骤3：将步骤2里的局部服饰轮廓图转化为二值图，利用欧拉距离公式进行距离变换，得到距离变换矩阵；

步骤4：通过步骤3的距离变换，局部服饰轮廓内的像素值为0，利用幂级运算增大局部服饰轮廓外的像素值，以增加内外的距离差，形成轮廓特征；

步骤5：将随机噪声图的特征分别与步骤1得到的内容特征、风格特征和步骤4得到的轮廓特征作差值分别得到内容损失、风格损失和轮廓损失；

步骤6：赋予三类损失不同权重做加合，同时加入正则项惩罚权重，最后利用梯度下降更新网络权重使损失最小化，生成结果图。

步骤1具体过程如下：