[发明专利]使用深度信息渲染3D图像的方法和系统

说明书

一种系统可以包括设备和图形处理单元(GPU)。该设备可以被配置为从一个或更多个相机接收对应于第一视图的第一图像，并且从一个或更多个相机接收对应于第二视图的第二图像。GPU可以包括运动估计器，并且被配置为接收第一图像和第二图像，并且被配置为接收第一图像和第二图像。运动估计器可以被配置为确定第一图像的第一视差偏移和第二图像的第二视差偏移。该设备可以被配置为生成从第一视差偏移导出的用于第一图像的第一深度缓冲器和从第二视差偏移导出的用于第二图像的第二深度缓冲器，以用于使用第一图像和第二图像渲染3D图像。

相关申请的交叉引用

本申请要求于2019年3月18日提交的美国申请第62/820,052号和于2020年1月28日提交的美国申请第16/774,885号的优先权，出于所有目的，这些申请的内容通过引用以其整体并入本文。

背景

本公开总体上涉及增强现实(AR)系统。AR系统可用于向用户呈现各种图像，包括三维(3D)图像。例如，AR头戴装置可用于以覆盖在现实世界环境的视图上的方式向用户呈现图像。为了渲染令人信服的逼真的AR图像，AR系统可以在图像中的适当深度提供对象或特征。

概述

本发明针对根据所附权利要求的方法、系统以及包括处理器可执行指令的计算机可读介质。本发明的实施例涉及一种方法。该方法可以包括由设备从一个或更多个相机接收对应于第一视图的第一图像并且从一个或更多个相机接收对应于第二视图的第二图像。该方法可以包括由设备将第一图像和第二图像提供给运动估计器，运动估计器确定第一图像的第一视差偏移(disparity offset)和第二图像的第二视差偏移。该方法可以包括由设备生成从第一视差偏移导出的用于第一图像的第一深度缓冲器(depth buffer)和从第二视差偏移导出的用于第二图像的第二深度缓冲器，以用于使用第一图像和第二图像渲染三维(3D)图像。

在本发明的另一个方面，该方法可以进一步包括由3D渲染器使用第一深度缓冲器来重新投影对应于第一图像的第一显示图像，以供第一显示器呈现，并且使用第二深度缓冲器来重新投影对应于第二图像的第二显示图像，以供第二显示器呈现。

在本发明的又一实施例中，该方法该方法可以进一步包括由设备校正(rectify)第一图像或第二图像之一。

在本发明的另一个实施例中，该方法可以进一步包括由设备将第一深度缓冲器、第一图像、第二深度缓冲器和第二图像作为图像输入提供给3D渲染器，以在一个或更多个显示器上显示一个或更多个3D图像。该方法可以进一步包括由3D渲染器使用第一深度缓冲器重新投影对应于第一图像的第一显示图像以供第一显示器呈现，并且使用第二深度缓冲器重新投影对应于第二图像的第二显示图像以供第二显示器呈现。

在本发明的另一个实施例中，该方法可以进一步包括由设备将第一深度缓冲器、第一图像、第二深度缓冲器和第二图像作为图像输入提供给3D渲染器，以在一个或更多个显示器上显示一个或更多个3D图像。该方法还可以包括由设备至少基于第一图像的第一时间戳或第二图像的第二时间戳来确定与第一图像和第二图像相对应的场景的一个或更多个元素的一个或更多个历史姿态，并将该一个或更多个历史姿态提供给3D渲染器，用于生成一个或更多个3D图像。

在本发明的另一个实施例中，该方法可以进一步包括由设备校正第一图像或第二图像之一。

在本发明的又一实施例中，该方法可以进一步包括由设备校正第一图像或第二图像之一。

在本发明的又一实施例中，该方法可以进一步包括对第一视差偏移或第二视差偏移中的一个或更多个进行滤波或平滑中的一项。

在本发明的又一实施例中，该方法可以进一步包括由设备处理从运动估计器输出的第一视差偏移或第二视差偏移之一，以去除一个或更多个伪影(artifact)。