[发明专利]用于对象类别建模的生成潜在纹理代理

权利要求书

1.一种利用至少一个处理设备来执行操作的计算机实现的方法，包括：

接收与图像内容中的对象相关联的姿势；

生成所述对象的多个三维3D代理几何结构；

基于所述多个3D代理几何结构生成所述对象的多个神经纹理，所述神经纹理定义了表示所述对象的多个不同形状和外观；

将所述多个神经纹理提供给神经渲染器，所述多个神经纹理以堆叠形成提供；

从所述神经渲染器并基于所述多个神经纹理，接收彩色图像和表示所述对象的至少一部分的不透明度的α蒙版；以及

基于所述姿势、所述彩色图像和所述α蒙版生成合成图像。

2.根据权利要求1所述的方法，进一步包括：

至少部分地基于与所述对象相关联的所述姿势，将潜在纹理渲染到目标视点上，其中，所述多个3D代理几何结构中的每个包括所述对象的至少一部分的粗略几何结构近似和被映射到所述粗略几何结构近似的所述对象的所述潜在纹理。

3.根据权利要求1所述的方法，其中，所述多个神经纹理被配置为重构在所述图像内容中捕获的所述对象的隐藏部分，所述隐藏部分基于所述神经纹理的所述堆叠形成来重构使得所述神经渲染器能够生成所述对象的透明层和所述对象的所述透明层后面的表面。

4.根据权利要求1所述的方法，其中，所述多个3D代理几何结构中的每个对与所述图像内容中的所述对象相关联的表面光场进行编码，所述表面光场包括与所述对象相关联的镜面反射。

5.根据权利要求1所述的方法，其中，所述多个神经纹理至少部分地基于所述姿势，所述神经纹理通过以下来生成：

识别所述对象的类别；

基于所识别的所述对象的类别生成特征图；

将所述特征图提供给神经网络；以及

基于与所识别的类别的每个实例相关联的潜在代码和与所述姿势相关联的视图生成所述神经纹理。

6.根据权利要求1所述的方法，其中，所述对象的至少一部分是透明材料。

7.根据权利要求1所述的方法，其中，所述对象的至少一部分是反射材料。

8.根据权利要求1所述的方法，其中：

所述图像内容包括远程呈现图像数据，所述远程呈现图像数据至少包括用户；以及

所述对象包括一副眼镜。

9.一种系统，包括：

至少一个处理设备；以及

存储指令的存储器，所述指令在被执行时，使所述系统执行包括以下的操作：

接收与图像内容中的对象相关联的姿势；

生成所述对象的多个三维3D代理几何结构；

基于所述多个3D代理几何结构生成所述对象的多个神经纹理，所述神经纹理定义了表示所述对象的多个不同形状和外观；

将所述多个神经纹理提供给神经渲染器，所述多个神经纹理以堆叠形成提供；

从所述神经渲染器并基于所述多个神经纹理，接收彩色图像和表示所述对象的至少一部分的不透明度的α蒙版；以及

基于所述彩色图像和所述α蒙版生成合成图像。

10.根据权利要求9所述的系统，进一步包括：

至少部分地基于与所述对象相关联的所述姿势，将潜在纹理渲染到目标视点上，其中，所述多个3D代理几何结构中的每个包括所述对象的至少一部分的粗略几何结构近似和被映射到所述粗略几何结构近似的所述对象的所述潜在纹理。

11.根据权利要求9所述的系统，其中，所述多个3D代理几何结构中的每个对与所述图像内容中的所述对象相关联的表面光场进行编码，所述表面光场包括与所述对象相关联的镜面反射。