[发明专利]用于显示从多个视角采集的经立体渲染的图像数据的3D视频会议系统和方法

说明书

一种方法包括：由与人工现实设备相关联的计算系统通过网络接收第二计算系统的用户的视频数据，该视频数据包括该用户的第一图像和第二图像。第一图像和第二图像可以分别由第二计算系统的第一摄像头和第二摄像头同时采集。该计算系统生成用于显示该用户的平面代理，以及确定该平面代理在三维虚拟环境内的姿态。该计算系统分别基于具有所确定的姿态的平面代理和第一图像、以及具有所确定的姿态的平面代理和第二图像，渲染用于人工现实设备的左眼显示器的左图像和用于右眼显示器的右图像。该计算系统使用左眼显示器和右眼显示器分别显示所渲染的左图像和所渲染的右图像。

技术领域

本公开总体上涉及计算机图形和显示经渲染的图像数据。

背景技术

人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，该人工现实例如可以包括虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)、混合现实(mixed reality，MR)、混合现实(hybrid reality)、或它们的某种组合和/或衍生物。人工现实内容可以包括完全的生成内容、或与所采集的内容(例如，真实世界的照片)相结合的生成内容。人工现实内容可以包括视频、音频、触觉反馈、或它们的某种组合，并且以上中的任何一种可以在单个通道或多个通道中渲染(例如，给观看者带来三维效果的立体视频)。人工现实可以与应用、产品、附件、服务、或它们的某种组合相关联，这些应用、产品、附件、服务、或它们的某种组合例如用于在人工现实中创建内容和/或用于人工现实中(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(head-mounted display，HMD)、独立HMD、移动设备或计算系统、或能够向一位或多位观看者提供人工现实内容的任何其他硬件平台。

发明内容

本文所描述的实施例涵盖了这样的系统、方法和介质：所述系统、方法和介质在人工现实设备上显示从多个视角采集的图像数据。本文所公开的实施例通过渲染和显示从多个视角采集的用户或对象(subject)的图像数据，在虚拟环境中模拟对用户的三维再现，而无需传统上进行三维再现所需的复杂硬件设置、以及显著的功率要求和带宽要求。所公开的实施例用于各种应用，例如使用人工现实设备的视频通话体验。

在一个实施例中，计算系统可以接收包括对象或用户的多个视角的图像数据，并利用本文所描述的一项或多项技术来向人工现实系统(其模拟了三维体验)的第二用户渲染和显示多视角图像数据。在特定实施例中，计算系统还可以利用(例如但不限于)虚拟环境中的平面代理(planar proxy)或3D网格来渲染和显示多视角图像数据。本文所描述的技术通过提供沉浸式多视角体验来改进现有技术，其与二维再现相比提高了对象轮廓周围的图像质量和深度感知，同时与三维再现相比降低了功率要求和数据带宽要求。

本发明的实施例可以包括人工现实系统、或结合人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，该人工现实例如可以包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合现实(hybrid reality)、或它们的某种组合和/或衍生物。人工现实内容可以包括完全的生成内容、或与所采集的内容(例如，真实世界的照片)相结合的生成内容。人工现实内容可以包括视频、音频、触觉反馈、或它们的某种组合，并且以上中的任何一种可以在单个通道或多个通道(例如，给观看者带来三维效果的立体视频)中渲染。另外，在特定实施例中，人工现实可以与应用、产品、附件、服务、或它们的某种组合相关联，这些应用、产品、附件、服务、或它们的某种组合例如用于在人工现实中创建内容和/或用于人工现实中(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，该各种平台包括连接到主计算机系统的头戴式显示器(HMD)、独立HMD、移动设备或计算系统、或能够向一位或多位观看者提供人工现实内容的任何其他硬件平台。