[发明专利]一种保持焦点信息的图像风格化方法

摘要

本发明涉及一种保持焦点信息的图像风格化方法，将“焦点位置差异”作为一个惩罚项加入到传统图像风格化方法中，即将感知损失和焦点损失的和作为总损失，并利用Adam算法调整图像转换网络的权值，得出最优化网络；当将某张图片输入到该最优化网络之后，生成出一张保留原图焦点信息的图像，而且风格融入更自然。本发明不单使生成的风格化图仍保留着原图的主要语义内容，保持了图像的焦点信息，还避免了以往简单纹理叠加的风格转移，效果图更能突出原图主题。

主权项

1.一种保持焦点信息的图像风格化方法，其特征在于：包括以下步骤：

S1、搭建一个作为图像转换网络的残差神经网络；

S2、将待处理的图像送入图像转换网络，得到风格化图像；

S3、使用VGG网络作为感知损失网络，先将目标风格图像输入到该网络，捕获目标风格信息，再将待处理图像以及生成的风格化图像分别送入该网络，计算得到感知损失；

S4、将生成的风格化图像与原图分别送入焦点损失网络并计算矩阵积，求出两者的均方根误差，作为焦点损失；

S5、将感知损失和焦点损失的和作为总损失，并利用Adam算法调整图像转换网络的权值；

S6、从训练集取下一张图像输入到调整后的图像转换网络，重复步骤S2到S5，直至达到最大迭代次数，得到最优化网络；

S7、将需要进行风格化的图片输入到最优化网络中得出保持焦点信息的风格化图像。

2.根据权利要求1所述的一种保持焦点信息的图像风格化方法，其特征在于：所述步骤S3中计算感知损失的具体步骤如下：

S31、选取感知损失网络的relu1_2，relu2_2，relu3_3，relu4_3该四层的特征图作为风格特征图，选取relu3_3层的特征图作为内容特征图；

S32、将目标风格图像在感知损失网络中前向传播一次，捕捉各个层的风格特征图并保存下来，作为训练过程中的目标风格特征图；

S33、从数据集中读取一张图片，将其作为目标内容图，输入到感知损失网络，捕捉内容特征图并保存下来，作为此次训练的目标内容特征图；

S34、将步骤S33中读取到的图片输入到图像转换网络中，得到生成的风格化图；将此图片输入到感知损失网络中，分别得到该图片的内容特征图和风格特征图；

S35、计算出步骤S34中风格化图的内容特征图和步骤S33中的目标内容特征图之间的均方误差，作为感知损失的内容损失部分；

S36、计算出步骤S34中风格化图的风格特征图和步骤S32中的目标风格特征图之间的均方误差，作为感知损失的风格损失部分；

S37、设第j层的特征图的尺寸为C×H×W，感知损失计算公式如下：

S38、将各层的损失相加，得到总的感知损失。

3.根据权利要求1所述的一种保持焦点信息的图像风格化方法，其特征在于：所述步骤S4中计算焦点损失的具体步骤如下：

S41、使用ResNet‑18残差神经网络作为焦点损失网络，提取该网络最后一层Softmax层的权值；

S42、从数据集中取出一张内容图，并获取它通过图像转换网络后得到的风格化图；然后将内容图和生成的风格化图进行缩放以及归一化预处理；

S43、将预处理过后的内容图和风格化图分别在焦点损失网络中前向传播一次，获取对应图片的分类结果以及最后一个卷积层的激活值；

S44、根据分类结果的索引值，从步骤S41中的权值数据中提取出相应的向量，将其与步骤S43中的激活值作矩阵乘法运算，得到对应于内容图和风格化图的初始焦点信息；

S45、将初始焦点信息缩放至内容图的尺寸，并归一化到0至256之间，得到对应于内容图和风格化图的焦点定位图；

S46、计算内容图和风格化图的焦点定位图之间的差异，得出焦点损失，焦点损失的计算公式如下所示：