[发明专利]用于渲染图像的三维建模体积

权利要求书

1.一种方法，包括：

由一个或更多个计算设备访问对象的第一多个图片，其中所述第一多个图片分别从第一多个视点拍摄；

由所述一个或更多个计算设备通过使用机器学习框架处理所述第一多个图片来构建用于所述对象的三维建模的建模体积，其中所述建模体积与多个颜色和不透明度信息相关联，所述多个颜色和不透明度信息与所述建模体积中的多个区域相关联；和

由所述一个或更多个计算设备使用所述建模体积从虚拟视点渲染所述对象的二维图像，其中所述图像的每个像素通过以下方式渲染：

从所述虚拟视点投射虚拟射线并穿过所述建模体积；

确定所述建模体积中的所述多个区域中的和所述虚拟射线相交的一个或更多个区域；和

基于与所述多个区域中的和所述虚拟射线相交的一个或更多个区域相关联的颜色和不透明度信息的累积来确定所述像素的颜色和不透明度。

2.根据权利要求1所述的方法，其中所述机器学习框架包括编码器和解码器，其中所述编码器基于输入的图片的信息构建编码向量，并且其中所述解码器通过解码所述编码向量来产生建模体积。

3.根据权利要求2所述的方法，其中，修改处于一种状态下的所述对象的所述编码向量导致生成用于对处于另一状态下的所述对象进行建模的建模体积。

4.根据权利要求3所述的方法，其中，对处于第一状态下的所述对象的第一编码向量和处于第二状态下的所述对象的第二编码向量进行线性插值导致生成用于对处于第三状态下的所述对象进行建模的建模体积，其中所述第三状态处于所述第一状态和所述第二状态之间。

5.根据权利要求2所述的方法，其中所述编码器是卷积神经网络。

6.根据权利要求2所述的方法，其中所述解码器是卷积解码器，或者其中所述解码器是线性基解码器。

7.根据权利要求1所述的方法，其中所述机器学习框架基于包括以下项的步骤来训练：

访问所述对象的第二多个图片，其中所述第二多个图片分别从第二多个视点拍摄；和

通过重复以下步骤训练所述机器学习框架，直到满足预定条件：

通过使用所述机器学习框架处理所述第二多个图片来构建用于所述对象的三维建模的第二建模体积；

从对应于所述第二多个视点的多个虚拟视点渲染所述对象的多个二维图像；和

基于所述多个二维图像和所述第二多个图片之间的比较来更新所述机器学习框架。

8.根据权利要求7所述的方法，其中所述第一多个视点是所述第二多个视点的子集。

9.根据权利要求7所述的方法，其中基于所述多个二维图像和所述第二多个图片之间的比较来更新所述机器学习框架包括：

对于从虚拟视点渲染的多个二维图像中的每一个和在所述第二多个图片中的从相应视点拍摄的图片，基于渲染的图像和相应图片之间的比较，计算预定损失函数；和

通过基于计算的损失函数执行反向传播来调整所述机器学习框架的参数。

10.根据权利要求7所述的方法，其中从所述第二多个视点拍摄的所述对象的一组或更多组图片用于训练，其中所述一组或更多组中的每一组对应于时间实例，并且可选地，其中所述第二多个视点中的每一个的背景跨所述时间实例是静态的。

11.根据权利要求1所述的方法，其中累积与所述虚拟射线相交的一个或更多个区域相关联的颜色和不透明度信息包括累积与所述一个或更多个区域相关联的不透明度加权颜色，直到与所述一个或更多个区域相关联的累积不透明度达到阈值。

12.根据权利要求1所述的方法，其中所述建模体积中的区域由体素表示，所述体素包括所述区域的颜色和不透明度的信息，并且可选地，其中，区域的颜色由RGB颜色代码表示，并且其中，区域的不透明度由0到1之间的标量值表示。