[发明专利]基于立体提取的三维场景修复

说明书

从一对来自不同视点的二维图像中渲染具有改进视觉特性的三维(3D)场景的系统和方法。创建三维场景，是获得从第一视点获取的场景对象的第一二维(2D)图像，和从不同于第一视点的第二视点获得的场景对象的第二二维图像，根据第一和第二二维图像创建深度图，根据深度图以及第一和第二二维图像创建三维场景，检测初始三维场景中具有不完整图像信息的区域，重建三维场景中所述检测到的区域，确定替换信息并修正重建区域；以及从多个视点渲染具有修改后的重建区域的三维场景。

相关申请的交叉引用

本申请要求于2018年9月27日提交的题为“使用立体提取的三维场景修复”的美国临时申请序列号62/737，280的优先权，其全部内容通过引用合并于此。

技术领域

本发明涉及渲染三维场景，并且更具体地，涉及用于从一对具有不同视点的二维图像渲染具有改善的视觉特性的二维场景的系统和方法。

背景技术

计算机系统使用渲染程序在二维(2D)显示器上呈现三维(3D)场景对象。为了创建场景对象的三维表示，计算机系统从具有不同视点的多个二维图像中获取场景对象的几何信息。然后，计算机系统根据获得的几何信息创建深度图，用于在二维显示器上创建和渲染三维场景。

深度图是一种图像，其包含与从捕获场景对象的二维图像的成像视点到场景对象表面的距离有关的信息。该深度有时被称为Z深度(Z-depth)，它是指一种约定，即成像器视点的中心轴在成像器的Z轴方向上，而不是在场景的绝对Z轴方向上。

计算机系统将在三维场景呈现在二维显示器上以供用户查看和操作，并且用户能够通过改变三维场景的视点来操纵三维场景的场景对象。对于场景对象的观点是，三维场景不包括准确的信息(例如，颜色值，深度值和/或对象值，这是因为对象/场景的一些面，不会出现在用于创建三维的有限数量的视点而获得的一个或多个二维图像中)，计算机系统会尝试使用来自相邻像素的信息来使场景完整。当计算机系统试图使场景完整时(例如，使用来自相邻像素的信息)，所得到的场景经常包括不真实的外观形状和/或颜色(例如，颜色的“拉伸(stretching)”效果)。

为了尽量减少不真实的外观形状和/或颜色，现有技术经常从两个不同的视点(例如，图像的全景)获得远多于两个的2D图像。从多个视点获得图像的全景，增加了场景对象的至少一个视点包括用于从各种视点生成三维场景的信息的可能性，从而提高了显示精度。然而此项技术与仅从两个二维图像创建三维场景相比，需要相对大量的处理时间/能力。

附图的简要说明

当结合附图阅读时，根据以下详细描述，将最好地理解本发明，其中相同的组件具有相同的附图标记。当存在多个类似的组件时，可以将单个附图标记分配给多个类似的组件，并用小写字母表示具体的组件。当指代组件的集合或者指代非特定的一个或多个组件时，可以去掉小写字母。这强调了根据惯例，除非另有说明，否则附图的各个特征未按比例绘制。相反地，为了清楚起见，可以扩大或缩小各种特征的尺寸。附图中包括以下附图：

图1A是包括电子组件和支撑电子组件的支撑结构的眼镜示例的透视图；

图1B是图1A眼睛示例的俯视图，示出了由眼镜限定的用于容纳佩戴眼镜的用户的头部的区域；

图2是图1A的眼镜示例所支持的电子组件的示例、以及与个人计算设备和接收方的通信的框图。

图3A是用于渲染3D场景的示例步骤的流程图；

图3B是用于将第一和第二2D图像重构为图3A中的3D场景的示例步骤的流程图；

图3C是用于图3B中信息不完整的3D场景区域检测的示例步骤的流程图；和

图3D是用于确定图3B中的替换图像信息的示例步骤的流程图。

具体实施方式