[发明专利]一种基于深度学习网络的实时光照渲染算法

摘要

本发明公开了一种基于深度学习网络的全局光照条件下的实时渲染算法,包括训练阶段和运行阶段；训练阶段包括以下步骤：S1、生成器网络结构的确定；S2、鉴别器网络结构的确定；S3、样本数据收集；S4、神经网络训练；运行阶段的过程是：将渲染缓存作为输入样本输入生成器网络获得输出结果，然后对输出结果进行像素着色，生成全局光照条件下的渲染结果，从而代替传统的复杂渲染计算，实现实时渲染。本发明通过对多个渲染缓存和同一视角下的光子映射结果进行对抗神经网络训练，并使用网络输出结果作为包括直接光照和间接光照的全局光照条件下像素着色中的光照提示，使用对抗网络训练的最终结果更准确有效。

主权项

1.一种基于深度学习网络的实时光照渲染算法，其特征在于，包括训练阶段和运行阶段；训练阶段包括以下步骤：S1、生成器网络结构确定：生成器网络采用基于U‑Net结构的CNN模型结构，输入样本通过6层降采样单元和6层升采样单元生成输出结果，每个降采样单元包含一个卷积层，一个激活层和一个降采样层，每个升采样单元包含一个卷积层，一个激活层和一个升采样层；S2、鉴别器网络结构确定：鉴别器网络采用基于图像分类的CNN模型结构。输入数据的格式与生成器的输出相同，依次通过两个卷积层和降采样层连接到三个全连接层上，输出标量作为鉴别的结果，其中0代表生成结果，1代表实际样本。；S3、样本数据收集：选择3D场景中的某个点，逐步旋转摄像机获得非全局光照条件下的渲染结果，并以高动态范围格式存储渲染缓存，获得输入样本。在相同视点对场景进行全局光照下的光子映射，将获得的光子映射结果作为输出样本。；S4、神经网络训练：首先将输入样本输入到生成器网络中，将输出结果输入到鉴别器网络中进行GAN训练，计算生成器的结构相似性损失函数，对鉴别器网络的鉴别成果与真实图片进行交叉熵损失函数训练，计算鉴别器的交叉熵损失函数，并输出一个标量作为鉴别结果，然后对生成器的结构相似性损失函数与鉴别器的交叉熵损失函数执行迭代计算训练自定义损失函数，在训练过程中需要删除所有流失层；运行阶段的过程是：将渲染缓存输入样本输入生成器网络获得屏幕空间光照图的输出结果，然后对输出结果在像素着色器中利用朗博模型执行像素着色生成新的照明图，从而代替直接照明图，进行实时渲染。