[发明专利]虚拟现实视差校正

权利要求书

1.一种在数字媒体环境中用以校正视差以解决关于虚拟现实(VR)数字内容的视角变化的系统，包括：

三角网格生成模块，所述三角网格生成模块至少部分地在VR系统的硬件中被实施，以基于像素和相对于所述VR数字内容的原始视角的相关联三维坐标来生成原始三角网格；

视角检测模块，所述视角检测模块至少部分地在所述VR系统的硬件中被实施以生成视角数据，所述视角数据描述相对于所述VR数字内容从原始视角到已改变视角的变化；

视角改变模块，所述视角改变模块至少部分地在所述VR系统的硬件中被实施，以基于所述原始三角网格和所述视角数据来生成视角三角网格；

视差校正模块，所述视差校正模块至少部分地在所述VR系统的硬件中被实施，以基于作为通过使用神经网络的机器学习的一部分的深度边界的标识来生成已校正视差三角网格，所述已校正视差三角网格对所述视角三角网格中的至少一个伪像进行校正；以及

内容渲染模块，所述内容渲染模块至少部分地在所述VR系统的硬件中被实施，以基于所述已校正视差三角网格来渲染所述VR数字内容。

2.根据权利要求1所述的系统，其中所述视差校正模块还包括深度过滤模块，所述深度过滤模块用以至少部分基于深度过滤来生成所述已校正视差三角网格。

3.根据权利要求1所述的系统，其中所述视差校正模块还包括拖尾检测模块，所述拖尾检测模块用以基于对作为所述视角三角网格的一部分而被包括的三角形的检查来生成所述已校正视差三角网格。

4.根据权利要求3所述的系统，其中由所述拖尾检测模块的所述检查基于近似于相应的所述三角形的视图方向的表面法线、相应的所述三角形的边缘长度、或者相应的所述三角形的面积。

5.根据权利要求1所述的系统，其中所述视差校正模块还包括置信度估计模块，所述置信度估计模块用以生成与所述视角三角网格的像素的深度相关联的置信度值。

6.根据权利要求5所述的系统，其中所述置信度值至少部分基于作为所述VR数字内容的一部分的相应立体图像中的所述像素的差异。

7.根据权利要求5所述的系统，还包括模糊模块，所述模糊模块被配置为基于针对VR数字内容的部分中像素的相应的所述置信度值来对相应部分进行模糊。

8.根据权利要求7所述的系统，其中所述部分的所述模糊的量针对具有低置信度值的部分增加，并且针对具有高置信度值的部分减少。

9.根据权利要求1所述的系统，其中所述视差校正模块还包括误差扩散模块，所述误差扩散模块用以生成所述已校正视差三角网格，所述已校正视差三角网格中的至少一个像素的深度被描述为深度值范围的分布。

10.根据权利要求1所述的系统，其中所述视差校正模块还包括网格切割模块，所述网格切割模块用以基于所标识的边界边缘或深度不连续性来对所述视角三角网格进行切割。

11.一种由虚拟现实(VR)设备实施的、在数字媒体环境中用以校正视差以解决关于虚拟现实(VR)数字内容的视角变化的方法，所述方法包括：

由所述虚拟现实设备基于像素和相对于所述VR数字内容的原始视角的相关联三维坐标来生成原始三角网格；

由所述虚拟现实设备生成视角数据，所述视角数据描述相对于所述VR数字内容从原始视角到已改变视角的变化；

由所述虚拟现实设备基于所述原始三角网格和所述视角数据来生成视角三角网格；

由所述虚拟现实设备基于作为通过使用神经网络的机器学习的一部分的深度边界的标识来生成已校正视差三角网格，所述已校正视差三角网格对所述视角三角网格中的至少一个伪像进行校正；以及

由所述虚拟现实设备基于所述已校正视差三角网格来渲染所述VR数字内容。

12.根据权利要求11所述的方法，其中所述已校正视差三角网格的所述生成至少部分基于深度过滤。