[发明专利]对动态三维模型的视图进行融合、纹理化和绘制

权利要求书

1.一种在计算机系统中对计算机表示的环境的动态三维(“3D”)模型进行纹理化的方法，所述方法包括：

接收针对当前帧的纹理图，所述纹理图中的每个纹理图包括在所述计算机表示的环境中从不同输入视点捕获的纹理值；

接收针对所述当前帧的模型数据，所述模型数据包括所述计算机表示的环境的所述动态3D模型的点；

对于所述动态3D模型的所述点中的至少一些点，确定针对所述当前帧的纹理权重，包括在空间上围绕所述动态3D模型中的接缝和/或在时间上相对于先前的纹理权重对针对所述当前帧的所述纹理权重中的至少一些纹理权重进行平滑；

对于所述动态3D模型的所述点中的所述至少一些点，根据针对所述当前帧的经平滑的所述纹理权重，应用来自所述纹理图的对应纹理值；以及

从输出视点绘制经纹理化的所述动态3D模型的视图。

2.根据权利要求1所述的方法，其中对于所述动态3D模型的所述点中的所述至少一些点之中的每个点，针对所述当前帧的所述纹理权重包括每个不同输入视点的标量权重。

3.根据权利要求1所述的方法，其中所述纹理权重是视点相关的纹理权重，并且其中确定针对所述当前帧的所述纹理权重包括：对于所述动态3D模型的所述至少一些点之中的给定点，针对不同输入视点之中的给定输入视点，至少部分地基于所述给定输入视点和所述输出视点来确定基本权重。

4.根据权利要求1所述的方法，还包括：

至少部分地基于所述模型数据和指示针对相应纹理图的不同输入视点的定向数据，分别从所述不同输入视点确定针对所述当前帧的栅格化深度图；以及

作为确定针对所述当前帧的所述纹理权重的一部分，至少部分地基于所述模型数据和所述栅格化深度图，从所述输出视点针对所述动态3D模型的所述点中的所述至少一些点应用阈值测试。

5.根据权利要求4所述的方法，其中应用所述阈值测试包括：对于所述动态3D模型的所述点中的所述至少一些点之中的给定点，在以下情况下，将针对所述不同输入视点之中的给定输入视点的标量权重设置为零：

所述给定点从所述给定输入视点不可见；

所述给定点在距所述给定输入视点的所述动态3D模型的边缘的阈值距离内，所述边缘的特征在于从所述给定输入视点的所述栅格化深度图中的深度不连续性；和/或

来自所述纹理图中的不同纹理图的对应纹理值不能满足相似性阈值。

6.根据权利要求1所述的方法，其中确定针对所述当前帧的所述纹理权重包括：针对不同输入视点之中的给定输入视点，为所述给定输入视点应用全局可见性得分。

7.根据权利要求1所述的方法，还包括标识所述动态3D模型中的所述接缝，其中标识所述接缝包括以下中的一项或多项：

标识所述动态3D模型中从不同输入视点之中的给定输入视点被遮挡的、但与所述动态3D模型中未从所述给定输入视点被遮挡的点相邻的点；

标识所述动态3D模型中来自所述纹理图中的不同纹理图的其对应纹理值不能满足相似性阈值的点；以及

标识所述动态3D模型中其投影在所述给定输入视点的视场内、但与所述动态3D模型中其投影在所述给定输入视点的所述视场外的点相邻的点。

8.根据权利要求1所述的方法，还包括标识所述动态3D模型中的所述接缝，其中标识所述接缝包括以下中的一项或多项：

从不同输入视点标识所述动态3D模型的所述点之中的自遮挡的实例；

标识所述不同输入视点之间的照明差异或相机校准差异的实例；以及

标识所述动态3D模型在所述不同输入视点的视场边界处的点的实例。

9.根据权利要求1所述的方法，其中所述纹理权重中的所述至少一些纹理权重在空间上围绕所述动态3D模型中的所述接缝被平滑，其中所述平滑包括计算从所述动态3D模型中的所述接缝到所述动态3D模型中的至少一些点的测地距离，并且其中所述纹理权重中的至少一些纹理权重使用所述测地距离被衰减。