[发明专利]神经光传输

权利要求书

1.一种方法，包括：

在计算系统处获得指示对象的多个UV纹理图和几何形状的数据，其中，每个UV纹理图从多个视角中的一个视角描绘对象；

由计算系统使用所述数据训练神经网络以学习光传输函数，其中，光传输函数指定当从所述多个视角观察对象时光如何与对象相互作用；以及

由计算系统基于通过经训练的神经网络对光传输函数的应用，生成从合成视角描绘对象的输出UV纹理图。

2.根据权利要求1所述的方法，其中，获得表示对象的多个UV纹理图和几何形状的数据包括：

使用照明台获得所述多个UV纹理图，其中，照明台包括多个灯，所述多个灯布置成在一个或多个相机捕获对象的图像时按顺序次序照亮对象，所述对象的图像用于随后生成所述多个UV纹理图。

3.根据权利要求1所述的方法，其中，获得表示对象的多个UV纹理图和几何形状的数据包括：

从传感器获得指示对象的几何形状的数据。

4.根据权利要求3所述的方法，其中，从传感器获得指示对象的几何形状的数据包括：

从光度立体和深度传感器获得指示对象的几何形状的数据。

5.根据权利要求1所述的方法，其中，使用所述数据训练神经网络以学习光传输函数包括：

基于指定灯的位置和捕获对象的图像的相机的视角的信息来训练神经网络以学习光传输函数。

6.根据权利要求1所述的方法，其中，使用所述数据训练神经网络以学习光传输函数包括：

训练神经网络，使得光传输函数的输出取决于对象的一种或多种材料。

7.根据权利要求1所述的方法，其中，生成从合成视角描绘对象的输出UV纹理图包括：

生成描绘对象的输出UV纹理图，使得合成视角包括对对象应用空间变化材料建模。

8.根据权利要求7所述的方法，其中，生成描绘对象的输出UV纹理图，使得合成视角包括对对象应用空间变化材料建模包括：

针对合成视角修改对象的材料。

9.根据权利要求1所述的方法，其中，生成从合成视角描绘对象的输出UV纹理图包括：

生成从合成视角描绘对象的输出UV纹理图，使得合成视角包括对象的新颖视图。

10.根据权利要求1所述的方法，其中，生成从合成视角描绘对象的输出UV纹理图包括：

生成从合成视角描绘对象的输出UV纹理图，使得合成视角包括从所述多个视角中的特定视角照亮对象的重新照明应用。

11.根据权利要求1所述的方法，还包括：

基于所述输出UV纹理图确定描绘对象的合成视角的输出图像；以及

在显示界面上显示输出图像。

12.根据权利要求1所述的方法，还包括：

将经训练的神经网络提供给第二计算系统。

13.根据权利要求1所述的方法，其中，生成从合成视角描绘对象的输出UV纹理图包括：

确定用特定照明从特定视角的对象纹理的合成，其中，所述特定视角不同于所述多个视角；

基于确定的对象纹理的合成重新照明对象的三维(3D)模型；以及

生成描绘对象的输出图像，使得对象包括新材料。