[发明专利]一种基于深度学习的三维模型到二维图像的渲染方法

说明书

本发明公开一种基于深度学习的三维模型到二维图像的渲染方法，包括：基于深度学习的轮廓渲染及其风格化方法，针对现有的轮廓提取算实时性以及计算的复杂性，构建合适的深度学习网络结构，针对无对照数据的风格迁移问题的数据特性，搭建计算机提取线稿与手绘线稿之间的映射；基于深度学习的光影渲染及其风格化方法，基于CycleGan网络的无监督训练模式构建风格转换网络结构，使用大量非成对的数据集对网络进行无监督训练，将三维模型的手绘风格化线稿、材质、光照、法线信息等信息输入训练完毕的网络，完成渲染，生成颜色填充和阴影表现更符合手绘风格的2D图片或视频。本发明的渲染方法可应用于动画制作或游戏画面渲染。

技术领域

本发明属于计算机视觉和深度学习两大领域，具体是一种基于深度学习的三维模型到二维图像的渲染方法。

背景技术

卡通作为一种以绘画等造型艺术为主要表现手段的艺术形式，属于非真实感渲染。在传统卡通动画的制作过程中，大量枯燥的卡通绘制工作集中在助理动画师身上，因而一个自然的想法就是借助计算机来减轻助理动画师的工作，从而提高卡通动画的制作效率。在以二维卡通动画设计为主的动画制作系统中，通常是利用形状插值和区域自动填色来完成全部或部分助理动画师的工作，从而提高卡通动画制作的效率。但这种方法还是需要画师来处理大部分工作。所以我们需要让计算机来完成大部分工作，而非真实感图像渲染正是这样一个领域。

在三维场景的非真实感绘制中，轮廓线扮演着重要的角色，是NPR不可或缺的存在。轮廓线刻画了几何模型大致的轮廓和形状，展现了三维模型的基本外观。艺术家因此经常通过显式地加强绘制轮廓线，或通过简化某些不是非常关键的局部细节来表达各自的设计意图，于是在图形交流中起到巨大作用。因此这一技术在科学可视化、三维场景的快速绘制等领域有着广阔的应用前景。

对于非真实感绘制来说，不需要像真实感绘制中一样，物体的形状需要三角面片或者高次曲面再加上场景中的光照等等外部信息等来描述。非真实感绘制仅仅需要一组曲线就可以表达出物体的形状信息，一个仅仅在非真实感领域才需要绘制出来的物体信息。正是由于轮廓线对于NPR绘制的重要性和其在非真实感各种风格之间的通用性，因此对轮廓线检测和绘制算法的研究不可否认的被当成了整个NPR领域的重点。

非真实感渲染中还存在着一个较为严重的问题：线条过度不如画师手绘稿自然有韵味。在传统的手工绘画中，画师的一笔一划轻重缓急都有讲究，人手在绘画过程中会产生随机抖动，使线条粗细不一，正是这种随机产生的‘错误’赋予了一幅画面生动感。然而由计算机渲染出来的轮廓线粗细一致，极为精确，但这也使画面缺少了其应该具有的韵味。所以如何模仿出手绘的效果一直是非真实感渲染领域关注的热点话题。该问题可以被归结于图像风格迁移，近年深度学习在图像风格迁移方面取得了巨大的进展，利用深度学习来实现轮廓风格化是一种高效的解决方案。

公开号为CN107977414A的中国专利公开了一种基于深度学习的图像风格迁移方法及其系统，使用VGG网络计算训练图、风格图和生成图之间的代价，然后使用Adam优化器根据计算出的代价对图像转换网络进行修正，直到图像转换网络收敛，保存训练好的模型文件，最后将需要迁移风格的图片输入该模型文件中得到风格迁移后的效果图。该方法及系统能够将普通的图片转换为优美的艺术风格作品，试验表明该方法对艺术图像的纹理有着良好的学习能力，系统能够在云平台下实现，且具有很高的负载能力。

发明内容

本发明的目的是针对现有技术存在的问题，提供一种基于深度学习的三维模型到二维图像的渲染方法，用以解决三维模型到二维动画非真实感图像渲染(NPR)过程中的系列问题。

为实现上述目的，本发明采用的技术方案是：

一种基于深度学习的三维模型到二维图像的渲染方法，包括：基于深度学习的轮廓渲染及其风格化方法；基于深度学习的光影渲染及其风格化方法；

所述基于深度学习的轮廓渲染及其风格化方法包括以下步骤：

S11，采用多边形模型的随机检测方法检测三维模型的轮廓线；