[发明专利]通过拓扑采样进行接合点形状和外观优化

说明书

公开了通过拓扑采样进行接合点形状和外观优化，提出的系统和方法实现了优化包括特定的3D场景或对象的形状及外观的3D模型表示。不透明的3D网格(例如，顶点位置和对应拓扑)和空间变化的材料属性基于图像空间损失进行联合优化以匹配多个图像观察结果(例如，参考3D场景或对象的参考图像)。几何拓扑定义了不透明3D网格中的可见并且可以基于图像空间损失通过训练来随机地初始化和优化的面和/或单元。与使用透明网格表示相比，将几何拓扑应用于不透明的3D网格以学习该形状提高了轮廓边缘的准确度和性能。相比于需要对该拓扑的初始猜测和/或对可能的几何拓扑的穷举测试的方法，该3D模型表示基于图像空间差异进行学习，而无需初始猜测。

要求优先权

本申请要求2021年6月1日提交的题为“通过蒙特卡罗采样的拓扑进行接合点形状和外观优化(JOINT SHAPE AND APPEARANCE OPTIMIZATION THROUGH MONTE CARLOSAMPLED TOPOLOGIES)”的美国临时申请No.63/195,301的权益，其全部内容通过引用并入本文。

背景技术

合成具有复杂形状和外观的对象的图像是计算机图形学的核心目标。问题可以分解为为所述对象的形状和外观选择合适的表示，根据所选择的表示对三维(3D)场景进行建模，最后高效地渲染该场景。为特定的3D场景创建形状和外观模型本质上是一个逆问题：寻找一个3D模型表示，其在被渲染时将产生按需显现的二维(2D)图像。在多次迭代中，逆向渲染用于基于正在建模的该3D场景的参考图像迭代地恢复3D模型的形状、光照和材料属性。

现有技术通常依赖于至少部分地基于参考图像(或参考3D模型)确定的初始体网格或3D模型(立方体、球体等)。其他技术依赖于使用统一体网格的所有可能拓扑进行训练，并且在执行时间方面实现起来代价高。例如，深度步进立方体技术为统一3D网格中的每个立方体评估140种可能的拓扑。还有其他技术产生的3D模型存在几何结构不准确。存在解决与现有技术关联的这些问题和/或其他问题的需求。

发明内容

本公开的实施例涉及通过拓扑采样的接合点形状和外观优化。公开了实现优化包括特定3D场景或对象的形状和外观的3D模型表示的系统和方法。在一个实施例中，不需要使用该3D场景或对象的一些知识的几何拓扑的初始猜测。在一个实施例中，几何拓扑定义了可见的(例如，启用的、活动的、包括的)体网格的单元(例如，3D网格、填充(packed)四面体)和/或单元的面(例如，三角形、四边形等)。几何拓扑可以基于图像空间损失通过训练来随机地初始化和优化。与使用透明网格表示相比，将所述几何拓扑应用于不透明3D网格以学习所述形状可提高轮廓边缘的准确性和性能。与需要对该拓扑的初始猜测和/或对可能的几何拓扑进行穷尽测试的方法相比，所述几何拓扑是基于图像空间差学习的，而无需初始猜测。外观驱动的3D模型提取有很多用途，例如创建复杂场景的多个细节层次的渲染，不同渲染系统之间的转换，甚至不同几何场景表示之间的转换。

在一个实施例中，不透明3D网格(例如，顶点位置和定义这些顶点位置之间的连接以形成表面或体的面的相应拓扑)和3D模型表示的空间变化的材料属性基于图像空间损失进行联合优化以匹配多个图像观察结果(例如，所述参考3D场景或对象的参考图像)。所述3D模型表示由可微分渲染器渲染以产生与所述参考图像相对应的经渲染图像。所述图像空间损失是基于与包括在体网格中的面相关联的计算的概率值以及参考图像和经渲染图像之间的差来计算的。更高的概率值对应于该面被包括在该3D模型表示中的更高的可能性。因此，可以从该3D模型表示中移除与概率值为零(或低于最小阈值)相关联的面或单元(单元不是基于所述概率值插入的)。该图像空间损失被反向传播以更新用于生成该3D模型表示和概率值的学习的参数。