[发明专利]一种基于双路径风格化网络的立体风格转移模型

说明书

本发明中提出的一种基于双路径风格化网络的立体风格转移模型，其主要内容包括：双路径风格化网络和损失网络，其过程为，立体风格转移模型由双路径风格化网络和损失网络两部分组成，双路径风格化网络采用立体对，并在单个路径中处理每个视图；将特征融合块嵌入到风格化网络中，有效共享这两个路径之间的特征级信息；损失网络计算感知损失和多层视图损失，以协调风格化网络两条路径的训练，从而生成视图一致的风格化结果。本发明提出了一种新颖的特征融合块来将信息从一个路径传播到另一个路径，能够生成具有更好视图一致性的风格化结果，且图片质量不会受到影响。

技术领域

本发明涉及图像处理领域，尤其是涉及了一种基于双路径风格化网络的立体风格转移模型。

背景技术

随着技术的进步，越来越多的新颖设备为人们提供了各种视觉体验。其中，设备提供身临其境的视觉体验是其中最受欢迎的设备之一，其中包括虚拟现实设备、增强现实设备、3D电影系统和3D电视。这些设备共享的一个共同组件是立体成像技术，该技术通过双目视觉的立体视觉创建立体视觉对中的深度幻觉。为了提供更有吸引力的视觉体验，大量研究将有吸引力的视觉效果应用于立体图像。神经风格转移是可以用来实现这一目标的新兴技术之一。然而现有的方法虽然满足了保持视图一致性的需要，但是也引入了伪像，计算量较大。

本发明提出了一种基于双路径风格化网络的立体风格转移模型，立体风格转移模型由双路径风格化网络和损失网络两部分组成，双路径风格化网络采用立体对，并在单个路径中处理每个视图；将特征融合块嵌入到风格化网络中，有效共享这两个路径之间的特征级信息；损失网络计算感知损失和多层视图损失，以协调风格化网络两条路径的训练，从而生成视图一致的风格化结果。本发明提出了一种新颖的特征融合块来将信息从一个路径传播到另一个路径，能够生成具有更好视图一致性的风格化结果，且图片质量不会受到影响。

发明内容

针对引入伪像、计算量较大的问题，本发明的目的在于提供一种基于双路径风格化网络的立体风格转移模型，立体风格转移模型由双路径风格化网络和损失网络两部分组成，双路径风格化网络采用立体对，并在单个路径中处理每个视图；将特征融合块嵌入到风格化网络中，有效共享这两个路径之间的特征级信息；损失网络计算感知损失和多层视图损失，以协调风格化网络两条路径的训练，从而生成视图一致的风格化结果。

为解决上述问题，本发明提供一种基于双路径风格化网络的立体风格转移模型，其主要内容包括：

(一)双路径风格化网络；

(二)损失网络。

其中，所述的立体风格转移模型，立体风格转移模型由双路径风格化网络和损失网络两部分组成，双路径风格化网络采用立体对，并在单个路径中处理每个视图；将特征融合块嵌入到风格化网络中，有效共享这两个路径之间的特征级信息；损失网络计算感知损失和多层视图损失，以协调风格化网络两条路径的训练，从而生成视图一致的风格化结果。

其中，所述的双路径风格化网络，风格化网络可以分为三部分：编码器、特征融合块和解码器；首先，两条路径共享的编码器将原始图像作为输入，并提取两个视图的初始特征映射和其次，在特征融合块中，和被组合在一起，形成融合特征图最后，被解码以生成左视图的风格化图像。

进一步地，所述的编码器，编码器由三个卷积块组成，它们逐渐对输入图像进行下采样以提取相应的特征；使用Conv来表示“卷积-批量归一化-激活块”；C_in和C_out分别表示输入和输出的通道数目。

进一步地，所述的特征融合块，在立体图像对的每个视图上单独应用单个图像风格转移算法将导致视图不一致；因此，引入一个特征融合块来融合这两个路径的特征，使模型能够从两个视图中利用更多信息来保持视图的一致性；

以原始立体图像和由编码器提取的特征为输入，特征融合块输出融合特征图其包含两个视图的信息；