[发明专利]用于对象类别建模的生成潜在纹理代理

说明书

描述了系统和方法，用于生成对象的多个三维(3D)代理几何结构；基于多个3D代理几何结构生成对象的多个神经纹理，该神经纹理定义了表示该对象的多个不同形状和外观；将多个神经纹理提供给神经渲染器；从神经渲染器并基于多个神经纹理接收彩色图像和表示对象的至少一部分的不透明度的α蒙版，并且基于姿势、彩色图像和α蒙版生成合成图像。

技术领域

本申请要求于2020年6月30日提交的、名为“GENERATIVE LATENT TEXTUREDPROXIES FOR OBJECT CATEGORY MODELING”的美国临时申请No.62/705,500的权益，其公开内容通过引用整体并入本文。

技术领域

本说明书通常涉及用于生成用于在显示器上呈现的内容的方法、设备和算法。

背景技术

生成模型是被用来生成与训练数据一致的数据的一种机器学习模型。生成模型可以学习数据集的模型，以便生成与数据集中包括的训练数据类似的数据。例如，可以训练生成模型来确定数据集的特征X和标签Y的概率分布p(X,Y)。可以向被编程来执行生成模型的计算机系统提供标签Y。作为响应，计算机系统可以生成与标签Y一致的特征或特征集X。

发明内容

一个或多个计算机的系统可以被配置为通过在系统上安装软件、固件、硬件或它们的组合来执行特定操作或动作，这些软件、固件、硬件或它们的组合在操作中使得系统执行动作。一个或多个计算机程序可以被配置为通过包括在由数据处理装置执行时使得装置执行动作的指令来执行特定操作或动作。

在一个一般方面中，描述了利用至少一个处理设备来执行操作的系统和方法，操作至少包括：接收与图像内容中的对象相关联的姿势；生成对象的多个三维(3D)代理(proxy)几何结构；基于多个3D代理几何结构生成对象的多个神经纹理，其中，神经纹理定义了表示对象的多个不同形状和外观；将多个神经纹理提供给神经渲染器，其中，多个神经纹理以堆叠形成提供；从神经渲染器并基于多个神经纹理，接收彩色图像和表示对象的至少一部分的不透明度的α蒙版(alpha mask)；以及基于姿势、彩色图像和α蒙版生成合成图像。

这些和其他方面可以单独或组合地包括以下中的一个或多个。例如，该方法还可以包括：至少部分地基于与对象相关联的姿势，将潜在纹理渲染到目标视点上，其中，多个3D代理几何结构中的每个包括对象的至少一部分的粗略几何结构近似和映射到粗略几何结构近似的对象的潜在纹理。在一些实施方式中，多个神经纹理被配置为重构在图像内容中捕获的对象的隐藏部分，其中，基于神经纹理的堆叠形成来重构隐藏部分使得神经渲染器能够生成对象的透明层和对象的透明层后面的表面。

在一些实施方式中，多个3D代理几何结构中的每个对与图像内容中的对象相关联的表面光场进行编码，表面光场包括与对象相关联的镜面反射。在一些实施方式中，多个神经纹理至少部分地基于姿势，神经纹理通过下述操作生成：识别对象的类别；基于所识别的对象的类别生成特征图；将特征图提供给神经网络；以及基于与所识别的类别的每个实例相关联的潜在代码和与姿势相关联的视图生成神经纹理。在一些实施方式中，对象的至少一部分是透明材料。在一些实施方式中，对象的至少一部分是反射材料。

在一些实施方式中，图像内容包括远程呈现图像数据，远程呈现图像数据至少包括用户；以及对象包括一副眼镜。在一些实施方式中，神经渲染器使用生成模型来重构所识别的类别内的未见对象实例，重构基于对象的少于四个捕获的视图。在一些实施方式中，使用生成潜在优化(GLO)框架和感知重构损失来生成合成图像。

所描述的技术的实施方式可以包括硬件、方法或过程、或者计算机可访问介质上的计算机软件。在附图和以下描述中阐述一种或多种实施方式的细节。根据说明书和附图以及根据权利要求书，其他特征将显而易见。

附图说明

图1是图示根据贯穿本公开描述的实施方式，用于在显示设备上显示内容的示例性3D内容系统的框图。