[发明专利]一种基于神经网络的光子映射渲染方法和系统

权利要求书

1.一种基于神经网络的光子映射渲染方法，其特征在于，包括以下步骤：

1)采用光子映射方法生成k张不同渲染质量的彩色效果图；

2)将多组由k张不同渲染质量的彩色效果图构成的训练集输入神经网络进行训练，得到神经网络模型；

3)基于所述神经网络模型合成全局光照明渲染图像；

所述k张不同渲染质量的彩色效果图为k张不同光子收集半径的渲染的彩色效果图，所述k张不同光子收集半径的渲染的彩色效果图在生成时，除了光子半径或者迭代次数的变化，其他绘制参数包括视点参数、光源参数、绘制视口窗口均不发生任何改变；生成的每一张彩色效果图都是一张粗糙图，k张粗糙图构成一组粗糙图；

所述神经网络模型包括：卷积层，与所述卷积层连接的非线性激活层，与所述非线性激活层连接的多个残差结构块，与所述残差结构块连接的Eltwise层，与所述Eltwise层连接的卷积层，以及连接所述非线性激活层和所述Eltwise层的旁路；所述多个残差结构块中，一个残差结构块代表一个残差网络的功能块；

所述神经网络模型的训练过程包括：所述卷积层采用卷积核对输入的数据做卷积操作以抽取浅层特征；然后通过所述非线性激活层进行激活；所述旁路将输入直接连到后面的神经网络层，使得后面的神经网络层可以直接学习残差；所述多个残差结构块通过直接将输入信息传到输出，保护信息的完整性，直接连接浅层网络与深层网络，从而使得梯度能够很好地传递到浅层；所述旁路的输出和经过多个残差结构块之后输出的数据执行Eltwise层的按元素操作；最后执行卷积操作并输出，经过多次训练最终得到神经网络模型及其参数。

2.根据权利要求1所述的方法，其特征在于，在生成若干组粗糙图作为神经网络训练的网络输入用的数据集时，分别对光源位置以及假想相机位置作变化，创建出不同光照参数和视角的场景并进行渲染；对于每一个光照参数和视角，使用SPPM算法生成迭代1000轮次以上的渲染图作为标签；每输入一组粗糙图做训练称为一个周期，在一个周期开始之前打乱整个数据集，并对于每组图进行裁剪，裁剪之后的图像作为网络训练的数据输入。

3.根据权利要求1所述的方法，其特征在于，所述k的取值为5～15。

4.根据权利要求1所述的方法，其特征在于，所述残差结构块进行以下操作：

1)对输入数据建立一个shortcut连接，即添加恒等映射，确保结构更深的网络不会比浅的网络效果差；

2)对输入数据做卷积；

3)通过非线性激活层进行激活；

4)对数据再次做卷积；

5)把步骤1)的直接输出和步骤4)经过再次卷积之后输出的数据执行按元素操作；

6)输出结果。

5.根据权利要求1所述的方法，其特征在于，所述Eltwise层的按元素操作包括三种类型的操作：点乘、求和、取最大值。

6.一种基于神经网络的光子映射渲染系统，其特征在于，包括：

输入数据生成模块，用于采用光子映射方法生成k张不同渲染质量的彩色效果图；

神经网络模型训练模块，用于将多组由k张不同渲染质量的彩色效果图构成的训练集输入神经网络进行训练，得到神经网络模型；

渲染模块，用于使用所述神经网络模型把当前视点条件下所生成的粗糙图合成全局光照明渲染图像；

所述k张不同渲染质量的彩色效果图为k张不同光子收集半径的渲染的彩色效果图，所述k张不同光子收集半径的渲染的彩色效果图在生成时，除了光子半径或者迭代次数的变化，其他绘制参数包括视点参数、光源参数、绘制视口窗口均不发生任何改变；生成的每一张彩色效果图都是一张粗糙图，k张粗糙图构成一组粗糙图；

所述神经网络模型包括：卷积层，与所述卷积层连接的非线性激活层，与所述非线性激活层连接的多个残差结构块，与所述残差结构块连接的Eltwise层，与所述Eltwise层连接的卷积层，以及连接所述非线性激活层和所述Eltwise层的旁路；所述多个残差结构块中，一个残差结构块代表一个残差网络的功能块；

所述神经网络模型的训练过程包括：所述卷积层采用卷积核对输入的数据做卷积操作以抽取浅层特征；然后通过所述非线性激活层进行激活；所述旁路将输入直接连到后面的神经网络层，使得后面的神经网络层可以直接学习残差；所述多个残差结构块通过直接将输入信息传到输出，保护信息的完整性，直接连接浅层网络与深层网络，从而使得梯度能够很好地传递到浅层；所述旁路的输出和经过多个残差结构块之后输出的数据执行Eltwise层的按元素操作；最后执行卷积操作并输出，经过多次训练最终得到神经网络模型及其参数。