[发明专利]一种基于场景识别的草图图像翻译方法

说明书

本发明公开了一种基于场景识别的草图图像翻译方法。用户在所选取的场景图背景上交互式的逐步绘制草图，系统根据场景识别网络识别出的场景图类别对轮廓草图进行语义匹配得到对象类别，再根据对象类别与草图，利用部分草图形状完成网络与完整图像外观生成网络进行轮廓与外观合成，经过交互式的绘制最终生成需要的前景对象图像。本发明可以允许用户不用进行整个场景级别的草图绘制，只需在现有的场景背景图上描绘前景部分的对象草图，系统会自动进行与背景场景图语义匹配的对象完成，使得最终生成的图像质量与清晰度更高。

技术领域

本发明涉及计算机视觉、图像处理技术领域，具体涉及一种基于场景识别的草图图像翻译方法。

背景技术

绘制草图是用于人类表达和传递信息的最自然与灵活的途径之一。近年来随着触屏设备的日益普及，在触屏上以寥寥数笔绘制草图来表达人类的视觉需求，已经成为重要的人机的交互方式。随着深度学习在图像处理领域的蓬勃发展，草图完成、草图识别、草图编辑和草图检索等一系列草图领域的技术应用得以飞速发展。

草图-图像翻译是一类图像生成任务。结合用户界面，用户可以在目标域中利用徒手绘制的抽象草图快速创建图像。由于草图具有高度抽象性，且不同人绘制的草图在完成的准确度与风格上可能有很大的不同，因此草图-图像翻译问题仍面临着巨大的挑战。

场景识别与分类问题是计算机视觉领域中的重要问题。场景由图像中的局部对象、全局布局和背景环境多级信息组成。随着深度学习技术的巨大进展，大规模的场景数据集基准(如Place2、Place365等)得以建立，基于深度学习的解决方案取代了基于原始手工提取特征的解决方案，从而更好地促进了场景识别与分类性能的提高。

目前的现有技术之一是Ghosh等的《Interactive sketchfill:Multiclasssketch-to-image translation》所提出的SkinnyResnet网络结构，该方法根据用户输入的类条件，通过对用户逐步绘制的部分轮廓草图进行及时反馈，交互式的向用户推荐合理的草图完成轮廓并显示相应的合成图像，从而有效地帮助新手用户创建简单对象的图像。该方法将交互式图像生成的问题分为两个阶段：稀疏的用户草图对象形状的完成与完成形状草图的外观合成。但通常一幅图像中除了单个对象之外，可能还包含有其他多个对象、空间布局与背景环境信息，因此该方法的缺点是：1)生成的空白背景图片无法很好的适用于图像识别、图像检索等更进一步的图像任务；2)该方法需要用户点击类别按钮进行类条件选择，不能够根据背景图进行语义匹配自动进行选择。

目前的现有技术之二是Gao等的《Image Generation from Freehand SceneSketches》所提出的edgeGAN网络结构，该方法能够从徒手绘制的场景草图中可控的生成具有许多对象和关系的逼真图像，包括：1)通过草图分割模型首先分割识别出场景草图中所有的对象实例；2)由前景生成模型edgeGAN生成每个对象实例的图像内容，edgeGAN学习图象和图像边缘的联合嵌入，通过属性向量连接共享属性空间表示，从而将场景草图-图象生成任务转换为边缘图-图象生成任务，大大降低了收集场景草图数据的要求，并且可以应对用户具有不同绘画风格的挑战；3)将步骤2中生成的结果联合背景草图利用Pix2Pix模型生成最终的场景图象。缺点是难以如实地再现带有许多对象和关系的高质量复杂场景。由于不同的用户具有不同的草图绘画风格，现有的技术难以在完全满足用户需求的条件下生成逼真的场景图像。且由于用户主要关心的是图象中的前景部分，对于背景部分用户往往只画简单的几笔，使得场景草图-图象翻译任务仍然面临着巨大的挑战。

发明内容

本发明的目的是克服现有方法的不足，提出了一种基于场景识别的草图图像翻译方法。本发明解决的主要问题是，用户如何在需求的背景场景图上进行前景草图的绘制，使得前景草图的生成类别能够根据背景场景的内容语义自动进行匹配与控制。

为了解决上述问题，本发明提出了一种基于场景识别的草图图像翻译方法，所述方法包括：