[发明专利]用于虚拟现实的感兴趣区域估计的系统和方法

说明书

描述了用于估计用户的感兴趣方向的系统和方法。在一些实施例中，一种估计用户的感兴趣方向的方法包括：跟踪用户的头部取向，检测头部取向的转移，确定在头部取向的转移期间的头部旋转速率，以及至少部分地基于头部旋转速率来估计用户的感兴趣方向。

相关申请的交叉引用

本申请是以下申请的非临时申请并按照35U.S.C.§119(e)要求其权益：2018年10月24日递交的题为“用于虚拟现实的感兴趣区域估计的系统和方法(SYSTEM AND METHODSFOR REGION OF INTEREST ESTIMATION FOR VIRTUAL REALITY)”的美国临时专利申请系列号62/750,024，该申请通过引用而被整体结合于此。

背景技术

虚拟现实(VR)系统旨在向用户提供高水平的沉浸感。作为该努力的一部分，VR系统可以生成高每秒帧数(FPS)和高分辨率图像，以生成自然外观的视频并将其实时呈现给用户。然而，更高的分辨率和FPS可能需要更多的计算能力。因为通常可能需要更强大的处理器来实时提供高质量的图像，所以对VR内容服务器的需求通常逐日增加。这些为用户提供高质量内容的努力可能导致VR内容的更高价格和用户的更低可访问性。

视网膜中央凹渲染(foveated rendering)是一种调整VR内容的分辨率以便降低制作VR内容通常所需的计算能力的技术。视网膜中央凹渲染可以涉及将高分辨率渲染仅应用于图像的特定区域，例如用户的感兴趣区域。例如，识别用户的注视指向何处可能是特别有用的。然而，为了识别用户对图像的感兴趣点，具有视网膜中央凹渲染的VR系统通常可能需要头戴式显示器(HMD)内的特殊眼睛跟踪硬件，这可能招致额外的成本。

可以采用视网膜中央凹渲染来减少渲染开销，例如通过向用户实际上正关注的区域应用更高分辨率和/或通过对相对低感知(例如外围)区域使用相对低分辨率。为了使VR系统执行有效的视网膜中央凹渲染，识别用户的感兴趣区域(ROI)可能是有帮助的。这是因为如果低分辨率渲染区域出现在用户的ROI中，则可能会降低用户的感知性能或者例如主观VR体验。两种类型的视网膜中央凹渲染包括固定视网膜中央凹渲染和使用眼睛跟踪的视网膜中央凹渲染。每种类型可以使用各种不同的方法来估计用户的ROI。

图45描绘了固定视网膜中央凹渲染的示例。固定视网膜中央凹渲染假设用户感兴趣的区域是屏幕中心。因此，该方法仅对图像的中心部分应用高分辨率。图45中的示例示出了将图像(例如VR图像4506)的中心4502与外围4504分离以便应用固定视网膜中央凹渲染。在固定视网膜中央凹渲染的示例中，中心可以被假设为用户的感兴趣区域。图46示出了径向密度掩蔽(radial density masking)，一种在视网膜中央凹渲染中使用的方法。在该示例中，渲染高分辨率中心区域上的所有像素，但是仅渲染低分辨率外围区域上的一半像素。例如，渲染器可以跳过渲染2×2像素四元组的校验器图案(例如，以匹配一些示例GPU架构)。如图47所示，示例VR系统可以通过组合所渲染的像素的信息来重构低分辨率区域中的空(例如，未被渲染的)像素的信息。

与上述固定视网膜中央凹渲染不同，使用眼睛跟踪的示例视网膜中央凹渲染方法通过直接观察用户的眼睛来识别用户的ROI。示例系统将高分辨率应用于重要区域(例如，用户的注视点周围)并且将低分辨率应用于另一区域。使用眼睛跟踪来直接识别感兴趣区域的一个原因是用户正在观看屏幕中心的固定视网膜中央凹渲染的假设可能不时地(或经常地)崩溃。考虑到VR内容的用户可能主动地移动他的眼睛并且转动他的头部以观察周围环境，这是似乎合理的考虑。

作为示例，表1列出了Tobii Pro VR的规格，该Tobii Pro VR是集成到HMD中的示例眼睛跟踪系统(从https：//www.tobiipro.com/产品列表/VR集成/中被检索)。

表1，示例眼睛跟踪系统的规格