[发明专利]一种基于深度学习的三维模型到二维图像的渲染方法

权利要求书

1.一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，包括：基于深度学习的轮廓渲染及其风格化方法；基于深度学习的光影渲染及其风格化方法；

所述基于深度学习的轮廓渲染及其风格化方法包括以下步骤：

S11，采用多边形模型的随机检测方法检测三维模型的轮廓线；

S12，利用所述三维模型的轮廓线线稿绘制出具有手绘风格的线稿；

S13，采集大量成对的原始线稿和手绘线稿作为训练数据；

S14，构建pix2pixHD网络模型，将所述训练数据输入网络模型进行训练，得到轮廓渲染的风格化网络模型；

S15，将三维模型的原始线稿输入所述轮廓渲染的风格化网络模型，输出三维模型的手绘风格化线稿；

所述基于深度学习的光影渲染及其风格化方法包括以下步骤：

S21，基于CycleGan网络的无监督训练模式构建风格转换网络；

S22，使用大量非成对的数据集对网络进行无监督训练；

S23，将三维模型的手绘风格化线稿、材质、光照、法线信息输入训练完成的风格转换网络，生成颜色填充和阴影表现符合手绘风格的二维图像。

2.根据权利要求1所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，步骤S12中，绘制具有手绘风格的线稿具体为：改变原始线稿中的线型粗细和笔画模拟的风格，使绘制出的线稿具有手绘的风格；所述原始线稿为通过多边形模型的随机检测方法检测得到的三维模型轮廓线线稿。

3.根据权利要求1所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，步骤S14中，所述pix2pixHD网络模型包括生成器和判别器，所述生成器用于从语义标签图生成出真实图像，所述判别器用于区分真实图像和生成的图像；所述pix2pixHD网络模型对应的优化问题如下：

其中，

L_GAN(G,D)＝E_(s,x)[logD(s,x)]+E_s[log(1-D(s,G(s)))]

其中，x是数据集中的一张真实图像，D_k为3个判别器D1、D2、D3中的一个；L_GAN(G,D)为GAN损失函数；D(s,x)为判别器判定图像x为真实图像的概率；G(s)为生成器G根据语义标签图s生成的图像；D(s,G(s))为判别器判定生成器G生成的图像G(s)为真实图像的概率；E_s[f(s)]为函数f(s)的期望函数；E_(s,x)[f(s,x)]为函数f(s,x)的期望函数；

所述pix2pixHD网络模型将生成器拆分成两个子网络：全局生成器网络G1和局部增强网络G2；所述全局生成器网络G1的输入和输出的图像分辨率保持一致；所述局部增强网络G2的输出图像分辨率为输入图像分辨率的4倍。

4.根据权利要求3所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，所述全局生成器网络G1由一个卷积前端一系列残差块和一个转置卷积后端组成；所述局部增强网络G2也由一个卷积前端一系列残差块和一个转置卷积后端组成；其中，的输出与最后一层的特征图相加作为的输入。

5.根据权利要求3所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，所述pix2pixHD网络模型采用3个判别器来处理不同尺度的图像，该3个判别器具有相同的网络结构；为使训练更加稳定，引入特征匹配损失函数：

其中，表示判别器D_k提取的第i层特征，T为总的层数，D_k为3个判别器D1、D2、D3中的一个；N_i为第i层总元素的个数；G(s)为生成器G根据语义标签图s生成的图像；x为数据集中的一张真实图像；E_(s,x)[f(s,x)]为函数f(s,x)的期望函数；

引入特征匹配损失函数后，所述pix2pixHD网络模型的优化问题转化为：

其中，λ是特征匹配损失函数在优化问题中所占权重；L_GAN(G,D_k)为GAN损失函数。

6.根据权利要求1所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，步骤S21中，所述风格转换网络包括生成器和判别器，所述生成器用于生成风格化的图像，所述判别器用于将生成的风格化图像与真实手绘图像做对比，并将对比结果作为损失函数训练生成器；该损失函数为：

L_GAN(F,D_Y,X,Y)＝E_y～Pdata(y)[logD_Y(y)]+E_x～Pdata(x)[log(1-D_Y(F(x)))]

其中，X、Y分别为两种不同风格的图片集；F为从X风格到Y风格的映射，用于将X中的图片x转换为Y中的图片F(x)；D_Y为F映射的判别器；

为了避免将所有X中的图片都转换为Y中的同一张图片，引入另一个映射G，用于将Y中的图片y转换为X中的图片G(y)；其中，F(G(y))≈y，G(F(x))≈x；所述风格转换网络同时学习F和G两个映射；定义循环一致性损失函数为：

L_cyc(F,G,X,Y)＝E_x～Pdata(x)[||G(F(x))-x||₁]+E_y～Pdata(y)[||F(G(y))-y||₁]

同时，为G映射引入一个判别器D_x，定义损失函数L_GAN(G,D_x,X,Y)，故所述风格转换网络最终的损失函数为：

L＝L_GAN(F,D_Y,X,Y)+L_GAN(F,D_X,X,Y)+λL_cyc(F,G,X,Y)

其中，λ是循环一致性损失函数在优化问题中所占权重；E_x～Pdata(x)[f(x)]为函数f(x)从分布x～Pdata(x)中抽取随机变抽量时，函数f(x)的期望；E_y～Pdata(y)[f(y)]为函数f(y)从分布y～Pdata(y)中抽取随机变抽量时，函数f(y)的期望。