[发明专利]基于深度学习的微表面材质重建方法及系统

说明书

本发明公开了基于深度学习的微表面材质重建方法及系统，包括：获取真实世界材质的拍摄图像；将材质的拍摄图像输入到预训练生成器网络中，输出具有比拍摄图像更高分辨率的漫反射贴图、反射贴图、粗糙度贴图和法向贴图；将以上贴图绘制出一张渲染图像，该渲染图像所呈现的材质外观与拍摄图像相似。利用基于对抗生成网络框架，在神经网络中使用绘制模块将将漫反射贴图、反射贴图、粗糙度贴图和法向贴图绘制出一张渲染图像，并用判别器模块对该渲染图像与真实材质拍摄图进行判别，从而避免了传统利用机器学习的方法需要依赖大量材质贴图标签的缺陷，减少了材质采集的难度。

技术领域

本申请涉及图像真实感渲染技术领域，特别是涉及基于深度学习的微表面材质重建方法及系统。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

材质模型主要描述了物体表面局部的光线反射属性，对材质的描述以及准确建模对渲染结果的真实感起着至关重要的作用。真实感材质模型通常表示为双向反射分布函数，而这些函数可以分为不同的模型，其中目前最为常用的模型为微表面材质模型。通常模型参数包括漫反射、反射、粗糙度、法向等。

传统的材质建模工作通过从各个角度、光照条件下拍摄、测量真实世界的材质以获得其近似的反射属性。近期，使用有监督的深度学习方法在真实感材质建模上取得了成功，大大简化了这个过程。大多数基于深度学习的微表面材质建模方法的重心在于从现实世界拍摄的材质图片中重建出各种材质贴图，包括漫反射贴图、反射贴图、粗糙度贴图和法向贴图。

发明人发现，有监督的深度学习方法依赖大型训练数据集，要得到如此庞大的数据集费时费力。另外由于网络参数固定或者受限于显存，材质贴图往往都是低分辨率，无法用于实际应用。

发明内容

为了解决现有技术的不足，本申请提供了基于深度学习的微表面材质重建方法及系统；能够避免使用大规模训练集，通过输入真实世界拍摄的单张图像，能够生成比输入图像更高分辨率微表面材质，该材质包括漫反射贴图、反射贴图、粗糙度贴图和法向贴图四个分量，可有效应用于高度真实感渲染中。

第一方面，本申请提供了基于深度学习的微表面材质重建方法；

基于深度学习的微表面材质重建方法，包括：

获取真实世界材质的拍摄图像；

将材质的拍摄图像输入到训练后的材质重建与合成的网络框架中，材质重建与合成的网络框架中的生成器网络输出漫反射贴图、反射贴图、粗糙度贴图和法向贴图；

将漫反射贴图、反射贴图、粗糙度贴图和法向贴图绘制出一张渲染图像。

第二方面，本申请提供了基于深度学习的微表面材质重建系统；

基于深度学习的微表面材质重建系统，包括：

数据生成模块，其被配置为：获取真实世界材质的拍摄图像；

材质重建模块，其被配置为：将材质的拍摄图像输入到训练后的材质重建与合成的网络框架中，材质重建与合成的网络框架中的生成器网络输出漫反射贴图、反射贴图、粗糙度贴图和法向贴图；

绘制模块，其被配置为：将漫反射贴图、反射贴图、粗糙度贴图和法向贴图绘制出一张渲染图像。

第三方面，本申请还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。

第四方面，本申请还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。