[发明专利]一种对抗生成网络模型、以及基于所述对抗生成网络模型的散景效果渲染方法及系统

权利要求书

1.一种对抗生成网络模型，其特征在于，包括判决器和生成器；所述判决器用于接收图片并进行神经的网络训练，监督生成图像块与数据集中散景图像块的差异；所述生成器为端到端的卷积神经网络，用于输出进行散景渲染后的图片。

2.根据权利要求1所述的一种对抗生成网络模型，其特征在于，所述判决器进一步为：

多感受视野判决器，用于接收拥有丰富场景的图片数据集，并对所在神经网络进行训练；同时用于监督生成图像块与对应数据集中散景图像块的差异，关注同一位置不同大小图像块的细节；

所述图片集包含丰富的场景且成对出现；所述成对出现为图片集中每张无虚化效果的图片都对应有一张带有散景效果的图片，其中不带有散景效果的图片作为训练集，带有散景效果的图片作为有监督学习的标签集。

3.根据权利要求1所述的一种对抗生成网络模型，其特征在于，所述生成器进一步为两个阶段的网络，且两个网络均采用编码器与解码器组成的结构；其中所述两个阶段划分为第一阶段与第二阶段，在第一阶段，训练网络学习从没有虚化效果的图像到输入图像和对应的有散景效果图像的残差的映射；在第二阶段，细化产生逼真的散景效果；

其中在第一阶段时，网络的基础通道数为16，最大通道数为128；输入图像I与对应标签集中输出图像为有散景效果的O和残差R之间的关系为R＝I-O，所以I-R表示粗糙的具有散景渲染效果的图片；该阶段网络中产生的残差R具有一定的深度信息，即无需额外的深度信息作为先验知识；

其中在第二阶段时，网络的基础通道数为32，最大通道数为256；对第一阶段产生的粗糙具有散景渲染效果的图片进行细化，产生逼真效果的散景效果图；

其中生成器组成结构中，由所述编码器组成的编码器块为步长为预设定长度的卷积层，包含三个下采样层，并用于输出特征图；

其中生成器组成结构中，由所述解码器组成的解码器块为预设定数量个步长为预设定长度的转置卷积层，用于接收由残差块转换的特征图；所述残差块转换的特征图为采用预设定数量个残差块对编码器块输出的特征图进行转换而得到的特征图；所述残差块依次连接conv、ReLU、instancenorm、conv、ReLU层，且输入与输出间存在一个加性连接；

所述编码器块的卷积层和解码器块的转置卷积层都由ReLU激活，两个阶段网络的输出层都是通过步长为预设定长度的卷积再加上tanh来实现的，在卷积层及其镜像的转置卷积层之间均有skip connection用于增强输出图像的细节。

4.一种基于权利要求1～3中任一项所述的对抗生成网络模型的散景效果渲染方法，其特征在于，包括：

首先，获取用于训练的图片；然后，将获取的图片放入权利要求1～3任意一项所述的一个用于训练散景渲染的对抗生成网络模型进行网络训练；最后获得一个用于产生散景渲染效果的网络模型；其中所述训练图片在构建的训练集中存在一一对应一个标签图片，所述标签图片为有监督学习中对应的，且具有散景效果的图片；在网络训练的过程中利用TensorFlow Lite框架支持的算子对生成器中的残差块里存在的实例进行归一化；其中训练过程中涉及的损失函数为L_total。