[发明专利]使用数据驱动先验的网格重建

权利要求书

1.一种处理器，包括：

逻辑，用于基于多个数字图像预测一个或更多个三维(3D)网格表示，其中所述一个或更多个3D网格表示是通过最小化所述一个或更多个3D网格表示与所述多个数字图像之间的差异来细化的。

2.如权利要求1所述的处理器，其中基于所述多个数字图像预测所述一个或更多个3D网格表示包括：

执行机器学习模型以从潜在空间中的第一值产生对象的网格；以及

基于与所述对象的所述多个数字图像相关联的一个或更多个几何约束，通过选择所述潜在空间中的第二值来细化所述对象的所述网格。

3.如权利要求2所述的处理器，其中细化所述对象的所述网格包括：

选择所述第一值；

计算所述对象的所述网格与所述多个数字图像之间的误差；以及

利用所述机器学习模型的参数对所述第一值执行梯度下降以减小所述误差。

4.如权利要求3所述的处理器，其中选择所述第一值包括：随机化所述第一值、基于一组图像观测选择所述第一值、以及基于从所述一组图像观测提取的稀疏特征初始化所述第一值中的至少一个。

5.如权利要求2所述的处理器，其中细化所述对象的所述网格包括：

将所述网格划分为一组小网格；

针对所述一组小网格中的每个小网格，选择所述潜在空间中的所述第二值，以学习由所述小网格表示的所述网格的一部分的先验；以及

从所述一组小网格重建所述网格。

6.如权利要求5所述的处理器，其中细化所述对象的所述网格进一步包括：针对所述一组小网格中的每个小网格，学习所述小网格的自定义位姿，所述自定义位姿将所述图像的全局位姿与所述小网格的规范位姿对齐。

7.如权利要求5所述的处理器，其中细化所述对象的所述网格进一步包括：迭代地增加所述一组小网格的分辨率，以满足所述一个或更多个几何约束。

8.如权利要求2所述的处理器，其中所述逻辑进一步生成所述机器学习模型作为变分自编码器，以重建输入到所述变分自编码器的一组训练网格。

9.如权利要求8所述的处理器，其中生成所述机器学习模型包括：

针对所述一组训练网格中的每个训练网格，将所述训练网格中的多个点排序聚合为所述潜在空间中的标准化值；以及

在所述变分自编码器中训练解码器，以从所述标准化值重建所述训练网格。

10.如权利要求9所述的处理器，其中将所述训练网格中的所述多个点排序聚合为所述标准化值包括：

将编码器应用于所述多个点排序，以生成所述多个点排序的中间表示；以及

将所述中间表示平均为所述标准化值。

11.一种方法，包括：

基于多个数字图像预测一个或更多个三维(3D)网格表示，其中所述一个或更多个3D网格表示是通过最小化所述一个或更多个3D网格表示与所述多个数字图像之间的至少一个差异来细化的。

12.如权利要求11所述的方法，其中基于所述多个数字图像预测所述一个或更多个3D网格表示包括：

执行机器学习模型以从潜在空间中的第一值产生对象的网格；以及

基于与所述对象的所述多个数字图像相关联的一个或更多个几何约束，通过选择所述潜在空间中的第二值来细化所述对象的所述网格。

13.如权利要求12所述的方法，进一步包括生成所述机器学习模型作为变分自编码器，以重建输入到所述变分自编码器的一组训练网格。