[发明专利]基于学习网络的图像风格化

说明书

根据本公开内容的实现，提出了一种基于学习网络的图像风格化的方案。在该方案中，利用多个图像以及具有特定纹理风格的参考图像来训练学习网络。该学习网络的多个不同子网络被分别训练。具体地，一个子网络被训练为实现从源图像提取一个或多个特征图并且将被施加有纹理风格的特征图变换成目标图像。每个特征图指示源图像的一部分特征信息。另一子网络被训练为将指定的纹理风格施加于提取的特征图，从而使得基于处理后的特征图生成的目标图像能够体现指定的纹理风格。

背景技术

图像风格化指的是将一幅图像的原始风格转换为期望的其他风格。图像的风格也可以被称为图像的纹理风格，涉及该图像表面呈现的一个或多个纹理特点，包括但不限于图像中的颜色搭配、明暗处理、线条运用等等。图像的风格可以涉及图像的某一方面的特点、例如素描风格中对物体的线条化或油画风格中粗糙的笔触。在一些情况中，图像的风格也可以涉及一幅图像的多个方面的特点。例如，很多画家的不同作品可以被视为不同的风格，这样的风格可以由画作中的颜色、光线、线条等多个方面来体现。在转换一张图像的风格时，该图像中捕捉的内容基本保持不变。例如，如果图像中原本包含建筑、人物、天空、植被等物体，那么这些物体在经过图像风格化之后仍然被保留，只是它们的纹理特点会发生改变，从而体现转换后的纹理风格。

图像风格化的功能可以由诸如智能电话或个人计算机等具有处理能力的电子设备来提供。在一些使用情况中，可以允许用户从不同的图像风格中选择特定风格来处理用户输入的图像。当前的很多图像风格化的实现要求较高的处理资源并且消耗较多时间，这对于电子设备的处理资源有限并且要求快速结果呈现的用户而言是不期望的。

发明内容

根据本公开内容的实现，提出了一种基于学习网络的图像风格化的方案。在该方案中，利用多个图像以及具有特定纹理风格的参考图像来训练学习网络。该学习网络的多个不同子网络被分别训练。具体地，一个子网络被训练为实现从源图像提取一个或多个特征图并且将被施加有纹理风格的特征图变换成目标图像。每个特征图指示源图像的一部分特征信息。另一子网络被训练为将指定的纹理风格施加于提取的特征图，从而使得基于处理后的特征图生成的目标图像能够体现指定的纹理风格。通过本公开内容的方案，图像特征提取与风格化处理分离并且风格化处理在图像的特征空间中被执行，这有利于降低对处理时间和资源的消耗。此外，图像特征提取与风格化处理的这种分离还可以支持针对每种纹理风格训练对应的子网络，从而使得该学习网络在提供更多纹理风格方面具有高灵活度。

提供发明内容部分是为了简化的形式来介绍对概念的选择，其在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。

附图说明

图1示出了能够实施本公开内容的多个实现的计算环境的框图；

图2示出了根据本公开内容的一个实现的用于图像风格化的学习网络的框图；

图3示出了根据本公开内容的一个实现的对图2的学习网络的训练过程的流程图；

图4示出了根据本公开内容的一个实现的对图2的学习网络的扩展的框图；

图5示出了根据本公开内容的一个实现的在特征空间中执行风格化的示意图；

图6示出了根据本公开内容的一个实现的用于图像风格化的过程的流程图；

图7示出了根据本公开内容的一个实现的基于学习网络的图像风格化的过程的流程图；

图8示出了根据本公开内容的另一个实现的基于学习网络的图像风格化的示意图；以及

图9示出了根据本公开内容的又一个实现的基于学习网络的图像风格化的示意图。

这些附图中，相同或相似参考符号用于表示相同或相似元素。

具体实施方式