[发明专利]一种照片图像快速智能风格化方法

摘要

本发明公开了一种照片图像快速智能风格化方法。该方法基于两种神经网络技术：CNN(卷积网络)和RNN(时间递归网络)，是一种自动合成风格化照片的方法。该方法通过对特定风格化图像(如梵高风格、毕加索风格、动漫风格)进行迭代学习，产生代表风格材质的神经网络模型，再对输入的照片的内容进行深度学习，从而抽取出代表内容的高级特征，以和训练好的风格材质进行智能融合，最终产生新的风格化图像，从而达到形似和神似的两个目标。

主权项

1.一种照片图像快速智能风格化方法，其特征在于包括如下步骤：步骤1、基于多层卷积网络的图像分类网络；该图像分类网络采用标准的16层VGG网络，每一层包含多个卷积层和ReLU层，负责对图像的内容和材质进行分段抽象，通过反复将卷积层、采样层进行叠加，从而抽取出高层级的图像特征；提取出高层次的语义特征，最终能够准确的识别出图像中包含的物体信息；步骤2、基于时间递归网络的内容学习模型；该模型能够抽象出图像中的多粒度信息，该多粒度信息用于图像风格和内容的学习；该模型将图像中每一个点看作是其他若干点时间延续结果，从而构建出一个基于时间递归网络的模型，该模型利用概率分布能够预测出图像在下一行的可能的像素值分布，从而对整个图像的风格和内容形成一个准确的描述；步骤3、建立风格化训练模块；该模块负责协调步骤1和步骤2的神经网络模型，从用户选择的图像中抽取出风格信息，用于风格化的图像生成；该模块接受一个风格化图像和一个种子训练图像集合；对于任意一张种子训练图，该模块首先生成一张和该图大小一致的随机图，随机图通过步骤2的时间递归网络抽取出的特征向量再输入到步骤1的分类模型中，在分类模型内计算和风格化图以及种子图的误差，并用梯度下降的方法反馈训练步骤1和步骤2的神经网络；训练过程持续5万次，当训练结束，步骤2的神经网络已经包含了该风格化图片的特征信息；步骤4、风格化图像生成模块；该模块使用步骤3训练好的时间递归网络进行图像的风格化；对于任意一张输入图像，该模块首先使用一个全连接卷积层将输入图像转化为和训练图一样的高度和宽度，然后在通过步骤2的时间递归网络将输入图像的内容和网络中的风格特性进行融合，融合的结果最终输出为一个新的和输入大小一样的图像；步骤3的具体实现过程如下：3‑1.生成一张全白的和风格化图大小一致的图做为训练图；3‑2.训练图经过步骤2的时间循环网络，产生一张新的生成图，该图即为最终的图Ⅰ和图Ⅱ的融合训练结果；3‑3.生成图和图Ⅰ、图Ⅱ分别经过步骤1的卷积网络，生成的向量进行像素之间的色彩误差计算；生成图和图Ⅰ的误差为风格误差，生成图和图Ⅱ的误差为内容误差，整个的训练结果的目标是最小化风格误差和内容误差之和，这两者的重要程度能够通过权重进行调节；具体误差公式如下：其中W、H、C分别表示图像的宽、高以及特征图片的数量，x_ij表示第i行第j列的像素值，α表示内容和风格的权重；3‑4.将步骤3‑3的总误差，即风格误差和内容误差的加权总和通过SGD传递到时间递归网络，误差值函数的导数乘以预先设置的学习率作为修正值，神经元的原值减去修正值作为其新值，来达到降低误差的目标；3‑5.采用多个图像作为图Ⅰ内容图输入到网络中，对同一个风格化图进行反复训练，从而达到对该风格的描述网络。