[发明专利]神经光传输

说明书

示例涉及神经光传输的实现方式。计算系统可以获得指示对象的多个UV纹理图和几何形状的数据。每个UV纹理图从多个视角中的一个视角描绘对象。计算系统可以使用所述数据来训练神经网络以学习光传输函数。光传输函数可以是指定当从所述多个视角观察对象时光如何与对象相互作用的连续函数。计算系统可以基于通过经训练的神经网络对光传输函数的应用，生成从合成视角描绘对象的输出UV纹理图。

相关申请的交叉引用

本申请要求于2019年10月3日提交的美国临时专利申请第62/910,265号的优先权，其全部内容通过引用并入本文。

背景技术

许多现代计算设备，包括移动电话、个人计算机和平板计算机，都包括图像捕获设备，诸如静物相机和/或视频相机。图像捕获设备可以捕获图像，诸如包括人、动物、风景和/或对象的图像。

一些图像捕获设备和/或计算设备可以校正或以其他方式修改捕获的图像。例如，一些图像捕获设备可以提供“红眼”校正，该校正移除诸如使用明亮的灯(诸如闪光灯照明)捕获的图像中可能存在的人和动物的表现为红色眼睛的伪影。在捕获的图像已被校正后，校正后的图像可以被保存、显示、发送、打印到纸上和/或以其他方式利用。在某些情况下，对象的图像在图像捕获期间可能会受到照明不足的影响。

发明内容

本文公开的是涉及开发神经光传输的实施例，该神经光传输使得能够对在图像中捕获的三维(3D)物体进行数字重新照明和自由视点渲染。特别地，为了训练神经网络来学习光传输函数，计算系统可以使用与UV纹理图的集合相关联的数据集，所述UV纹理图描绘使用照明台捕获的对象。该数据集可以为该UV纹理图的集合内的每个UV纹理图指定相机的视角(perspective)和照亮对象的灯的位置。通过使用该数据集，一个或多个神经网络可以开发神经光传输，该神经光传输随后可用于从新颖视角和/或新颖照明合成对象的纹理。然后可以将合成的纹理图应用于对象的3D模型以进行重新照明，以从合成视角(例如，新颖视角和照明)产生对象的输出纹理图。

在一个方面，本申请描述了一种方法。该方法涉及在计算系统处获得指示对象的多个UV纹理图和几何形状的数据。每个UV纹理图从多个视角中的一个视角描绘对象。该方法还可以涉及由计算系统使用所述数据训练神经网络以学习光传输函数。光传输函数指定当从多个视角观察对象时光如何与对象相互作用。该方法还可以涉及由计算系统基于通过经训练的神经网络对光传输函数的应用，生成从合成视角描绘对象的输出UV纹理图。

在另一方面，本申请描述了一种系统。该系统包括传感器和计算系统。计算系统被配置为获得指示对象的多个UV纹理图和几何形状的数据。每个UV纹理图从多个视角中的一个视角描绘对象，并且传感器捕获指示对象的几何形状的数据。计算系统还被配置为使用所述数据训练神经网络以学习光传输函数。光传输函数指定当从所述多个视角观察对象时光如何与对象相互作用。计算系统还被配置为基于通过经训练的神经网络对光传输函数的应用，生成从合成视角描绘对象的输出UV纹理图。

在又一示例中，本申请描述了一种被配置为存储指令的非暂时性计算机可读介质，当由包括一个或多个处理器的计算系统执行时，所述指令使计算系统执行操作。该操作涉及获得指示对象的多个UV纹理图和几何形状的数据。每个UV纹理图从多个视角中的一个视角描绘对象。该操作还涉及使用所述数据训练神经网络以学习光传输函数。光传输函数指定当从所述多个视角观察对象时光如何与对象相互作用。该操作还涉及基于通过经训练的神经网络对光传输函数的应用，生成从合成视角描绘对象的输出UV纹理图。

在另一方面，本申请描述了一种系统，该系统包括用于实现神经光传输的装置。该系统包括用于获得指示对象的多个UV纹理图和几何形状的数据的装置。每个UV纹理图从多个视角中的一个视角描绘对象。该系统还包括用于使用所述数据训练神经网络以学习光传输函数的装置。光传输函数指定当从所述多个视角观察对象时光如何与对象相互作用。该系统还包括用于基于通过经训练的神经网络对光传输函数的应用生成从合成视角描绘对象的输出UV纹理图的装置。