[发明专利]用于实时图像变换的无未命中高速缓存结构

说明书

在此公开了用于提供改进的高速缓存结构和方法的系统和方法，高速缓存结构被最佳地调整大小以支持预定范围的后期调整，并且其中图像数据被智能地从DRAM读出，并以消除从DRAM重新获取输入图像数据并最小化DRAM带宽和功率的方式被高速缓存。

背景技术

背景和相关技术

混合现实是一种允许在显示器中将虚拟影像与真实世界物理环境混合的技术。用于混合现实的系统可以包括例如透视头戴式显示器(HMD)设备或具有内置相机的智能电话。这种系统通常包括在一个或多个应用的控制下提供影像的处理单元。使用HMD和其他设备还可以支持完整的虚拟现实环境，其中没有可查看的真实世界对象。

许多HMD还包括一个或多个前向的相机，其捕捉用户前方的环境，好像从用户的视角查看一样。这种前向的相机可以是深度相机，其不仅捕捉图像数据，还捕捉关于用户环境的深度或表面数据。从前向的相机捕捉的图像数据可以由位于HMD上的板上处理器使用，以生成混合现实或虚拟现实显示数据，该数据可以经由并入HMD中的用户显示器而被呈现给用户。

在这种系统中，用户的身体并且特别是头部可以相对于虚拟环境实时移动。例如，在混合现实应用中，如果用户在一个方向上倾斜他们的头部，则他们不期望图像或全息图与他们一起倾斜。理想地，系统将测量头部的定位并以足够快的速率呈现图像以消除用户所感知的图像定位中的任何抖动或漂移。然而，通常的图形处理单元(GPU)当前仅呈现每秒在30帧到60帧之间的帧，这取决于GPU的质量和性能。这导致在检测到头部定位的时间点与图像实际被输出到显示器的时间之间的潜在延迟为16毫秒至33毫秒。附加延时还可以与确定头部定位所花费的时间和/或在GPU的帧缓冲器和最终显示器之间的延迟相关联。结果是在用户期望图像的位置和图像被显示的位置之间潜在大的错误，从而导致用户不适。

为了减少或消除这种错误，现有系统可以应用后期校正以在图像由GPU呈现之后但在显示像素之前对图像进行调整(有时在下文中被称为“后期调整”、“后期重新投影”、“LSR”或“LSR调整”)，以便补偿由于头部移动引起的旋转、平移和/或放大。由于帧可以以高速率和高分辨率呈现，因此采用LSR的现有系统可能需要大量的DRAM带宽和功率。当然，在无线、电池供电的HMD的上下文中，芯片尺寸以及带宽和功率要求可能非常重要。

本文所要求保护的主题内容不限于解决任何缺点或仅在诸如上述那些环境中操作的实施例。而是，提供该背景技术仅用于说明可以实践本文描述的一些实施例的一个示例性技术领域。

发明内容

本文公开了用于提供改进的高速缓存结构和方法的系统和方法，高速缓存结构被最佳地调整大小以支持预定范围的后期调整，并且其中图像数据被智能地从DRAM读出，并以消除从DRAM重新获取输入图像数据并最小化DRAM带宽和功率的方式被高速缓存。

在一个实施例中，高速缓存结构被最佳地调整大小以支持预定范围的后期调整，并且被管理成使得：高速缓存/缓冲器可以只获取输入图像数据的每条线一次以减少输入带宽；高速缓存可以保持足够构造输出图像的多条线(但仍然比完整图像小得多)；高速缓存可以在数据被需要之前预取数据，以便它不会给图像处理流水线增加任何附加延时；并且只有当不再需要该数据来构造输出图像时，高速缓存才能驱逐输入图像数据，但是当不再需要时，它可以自动驱逐输入图像数据。

在另一方面，输入图像数据最初可以按照开始呈现输出图像所需的顺序被写入到高速缓存中。

在又一方面，输入图像数据可以被写入到高速缓存中并且按照使得可预测输出图像数据从高速缓存读出的顺序的方式进行组织。

提供本发明内容是为了以简化的形式介绍一些构思，这些构思将在下面的具体描述中进一步描述。本发明内容不旨在标识所要求保护的主题内容的关键特征或必要特征，也不旨在被用来帮助确定所要求保护的主题内容的范围。