[发明专利]一种对抗生成网络模型、以及基于所述对抗生成网络模型的散景效果渲染方法及系统

说明书

本发明提出了一种基于对抗生成网络的散景效果渲染方法，通过设计一个轻量化的网络，并同时使用TensorFlow Lite框架支持的算子重新实现了实例归一化，确保提出的一个由眼镜形状的端到端生成器以及多感受野判别器组成的对抗生成网络来训练散景渲染模型的所有算子都能在智能手机的GPU上进行计算，且不占用很大的资源。本发明同时还达到了不依赖于先验的方法的同时，还可以显著的检测出待聚焦区域，使得失焦区域的模糊效果也很自然，适用于多场景的情况而非只能处理人像等特定场景的目的。

技术领域

本发明涉及一种基于对抗生成网络的散景效果渲染方法及系统，涉及一般的图像数据处理和基于机器深度学习的图像重建技术，尤其涉及基于神经网络构建的散景效果处理分析领域。

背景技术

在生活水平和审美提升的基础上，通过图像采集设备进行生活记录成了大众普遍的需求。在摄影学中，散景效果被认定为最重要的美学标准之一。现有技术的发展下，大光圈镜头的单反相机可以很轻松的渲染出效果自然的散景图像，但作为通过手机进行图像记录的普通受众，因为智能手机很难配备大光圈的镜头以及一些其他特制传感器，所以很难利用现有的智能手机终端获取具有散景效果的照片。

合成散景效果渲染的发展中，通常使用语义分割方法从图像中分割人，然后模糊其余区域，关注点仅是对人像照片的处理，局限性很强且无法处理场景更为丰富的照片。虽有依赖特殊或昂贵的硬件实现智能手机合成散景效果渲染，但这并不适用于低端智能手机的市场。

发明内容

发明目的：一个目的是提出一种建立基于对抗生成网络模型的散景效果渲染模型方法，以解决现有技术存在的上述问题。进一步目的是提出一种实现上述方法的系统。

技术方案：一种用于训练散景渲染的对抗生成网络模型，包括判决器和生成器，所述判决器用于接收图片并进行神经的网络训练，监督生成图像块与数据集中散景图像块的差异；所述生成器为端到端的卷积神经网络，用于输出进行散景渲染后的图片。

在进一步的实施例中，所述判决器进一步为：

多感受视野判决器，用于接收拥有丰富场景的图片数据集，并对所在神经网络进行训练；同时用于监督生成图像块与对应数据集中散景图像块的差异，关注同一位置不同大小图像块的细节。

所述图片集包含丰富的场景且成对出现；所述成对出现为图片集中每张无虚化效果的图片都对应有一张带有散景效果的图片，其中不带有散景效果的图片作为训练集，带有散景效果的图片作为有监督学习的标签集。

所述生成器进一步为两个阶段的网络，且两个网络均采用编码器与解码器组成的结构；其中所述两个阶段划分为第一阶段与第二阶段，在第一阶段，训练网络学习从没有虚化效果的图像到输入图像和对应的有散景效果图像的残差的映射；在第二阶段，细化产生逼真的散景效果；

其中在第一阶段时，网络的基础通道数为16，最大通道数为128；输入图像I与对应标签集中输出图像为有散景效果的O和残差R之间的关系为R＝I-O，所以I-R表示粗糙的具有散景渲染效果的图片；该阶段网络中产生的残差R具有一定的深度信息，即无需额外的深度信息作为先验知识；

其中在第二阶段时，网络的基础通道数为32，最大通道数为256；对第一阶段产生的粗糙具有散景渲染效果的图片进行细化，产生逼真效果的散景效果图；

其中生成器组成结构中，由所述编码器组成的编码器块为步长为预设定长度的卷积层，包含三个下采样层，并用于输出特征图；

其中生成器组成结构中，由所述解码器组成的解码器块为三个步长为预设定长度的转置卷积层，用于接收由残差块转换的特征图；所述残差块转换的特征图为采用预设定数量个残差块对编码器块输出的特征图进行转换而得到的特征图；所述残差块依次连接conv、ReLU、instancenorm、conv、ReLU层，且输入与输出间存在一个加性连接；