[发明专利]一种基于深度学习的移动端表面光场渲染方法

说明书

本发明公开了一种基于深度学习的移动端表面光场渲染方法，包括步骤S1：使用相机对着目标物体拍摄被渲染目标物体各个角度的采样照片；步骤S2：使用照片合成目标物体当前所在的环境的360度环境贴图；步骤S3：将采样照片对齐到和被渲染目标物体的模型文件一致的空间坐标系下；步骤S4：收集深度神经网络的训练数据，搭建并训练深度神经网络；步骤S5：实时的渲染出被渲染目标物体在任意查看角度的表象，并且实现360度环境贴图的切换，得到不同渲染结果的效果。本发明运用了先进的深度学习架构，去拟合渲染方程中的一个积分，削减了在渲染过程中的运算量，在渲染的时候，本发明就可以随意切换环境贴图，达到一个relighting的效果。

技术领域

本发明涉及物体表面渲染领域，尤其涉及一种基于深度学习的移动端表面光场渲染方法。

背景技术

重现真实世界中的物体的外观表象相关的研究一直是计算机图形学和计算机视觉领域活跃的研究方向，因为该技术有着巨大的实用价值的应用场景，除了虚拟现实和增强现实之外，工业界衣服材质设计也可以使用该技术进行虚拟材质的模拟和仿真，电子商务领域也同样可以借用该技术真实地向用户展示商品。近几年一些移动设备如智能手机和一些头戴式设备发展迅速，大部分设备都装配有相机和GPU(图形处理器)，这样一些设备使得在移动端进行物体渲染更可靠和可行。但是又由于移动设备的一些配置限制，比如计算资源短缺，电池容量，以及散热问题，使得在手机端进行高帧率的物体渲染成为现有的又一大挑战。

基于物理的渲染方法(PBR)能够获得及其准确和合理的渲染结果，但是该方法需要本发明提前获取被渲染的物体的物理材质属性，比如粗糙度，金属度，BRDF(双边反射分布函数)等一些获取过程极其繁杂的材质属性，并且该方法需要巨大的运算量。与该方法对应的是基于图像的渲染方法(IBR)，该方法能够让本发明获取真实感的渲染结果并且能够在装备有图形计算设备的PC端达到60fps，但是移植到该算法到当前的智能设备(比如Google Pixel)在使用100％的GPU运算资源时只能达到最多16fps的速度。

Chen的工作(Anpei Chen,Minye Wu,Yingliang Zhang,Nianyi Li,Jie Lu,Shenghua Gao,and Jingyi Yu.2018.Deep Surface Light Fields.Proc.ACMComput.Graph.Interact.Tech.1,1,Article 14(July 2018),17pages.)把当前蓬勃发展的深度学习技术结合到基于图像的渲染方法(IBR)，根据三维点在不同角度的的稀疏采样恢复出该三维点在所有可见方向上的值，从而恢复出被渲染物体在任意角度的表象。但是该技术没有假设环境光是已知，于是把高光当成一个整体去用深度网络去拟合，虽然可以取得视觉上不错的效果，但是实际上拟合的结果和真实值还是有点差距的。另外该工作里面使用的深度网络结构比较冗余，导致了一些不太必要的计算，这也使得该方法在配有1080TiGPU的PC端渲染1024*1024的画面也只能达到35fps，更不要说在移动端。在Chen的基础上，本发明进行了创新和改进，首先假设环境光已知，这个可以通过提前拍摄环境的环境贴图实现，然后就可以用深度网络去拟合渲染方程的某一小部分(James TKajiya.1986.The rendering equation.In ACM Siggraph Computer Graphics，Vol.20.ACM，143-150)，达到和真实值更加贴近的拟合值，以解决chen的第一个问题，并且后期可以做到换环境光达到relight的效果。另外，为了能够在让算法在移动端能够运行，本发明使用了一个全新的网络结构，除去了chen的网络结构的冗余，实现了在移动端渲染1024*1024画面达到实时的速度。

因此，本领域的技术人员致力于开发一种基于深度学习的移动端表面光场渲染方法，该方法能够复现真实目标物体的表面光场并且能够在移动端设备上实时渲染出来。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是克服现有技术中物体表面渲染方法运算量大等问题，提供一种借助深度网络的重现物体表象(appearance)的新方法。