[发明专利]数据处理系统

说明书

数据处理系统。在数据处理系统中，当显示中心凹形图像时，产生器处理单元生成要显示的帧的多个不同分辨率版本。显示处理器然后基于提供到显示处理器的、指示帧的哪个分辨率版本要用于要显示的帧的观看方位变换后输出版本的相应区域的数据，使用来自由产生器处理单元生成的要显示的帧的多个不同分辨率版本的数据，来生成要显示的帧的观看方位变换后输出版本。

技术领域

本发明涉及数据处理系统，具体涉及在显示器上显示图像的数据处理系统的操作。

背景技术

图1示出了示例性数据处理系统14，该数据处理系统包括：主处理器，该主处理器包括中央处理单元(CPU)7；图形处理单元(GPU)2；视频编解码器1；图像信号处理器(ISP)12(即，例如，与摄像头12通信)；显示处理器(显示处理单元(DPU))5；以及存储控制器8。如图1所示，这些单元经由互连9通信并访问片外存储器3。

在该系统中，GPU 2、视频编解码器1、ISP 13和/或CPU 7将生成要显示的帧(图像)，并且显示处理器5然后将向显示器4提供这些帧以显示。对于系统的剩余部分，显示器4可以是本地的或远程的，并且可以具有到显示处理器5的有线或无线连接。

在该系统的使用中，在主处理器(CPU)上执行的、诸如游戏的应用例如将需要在显示器4上显示帧。为此，应用10将向在CPU 7上执行的用于图形处理单元2的驱动器11提交适当的命令和数据。驱动器11然后将生成适当的命令和数据，以使得图形处理单元2渲染用于显示的适当帧，并且将这些帧存储在适当的帧缓冲器中(例如，在主存储器3中)。显示处理器5然后将把这些帧读取到用于显示器的缓冲器中，这些帧然后被从该缓冲器读出并在显示器4的显示板上显示。

如果期望，则用于显示的帧还可以或相反从产生帧的处理单元(例如，GPU 2或ISP13)串流到显示处理器，例如通过借助缓存器。

诸如图1所例示的数据处理系统的14的用途示例是提供所谓的“XR”显示(诸如增强现实(AR)和/或虚拟现实(VR))头戴式显示器(HMD)系统。在这种情况下，显示器4将为某种头戴式显示器。

在头戴式AR/VR显示器操作中，将响应于来自需要增强现实或虚拟现实显示器的、诸如游戏(例如，在CPU 7上执行)的应用的适当命令和数据，例如将由图形处理单元2渲染要向各眼睛显示的适当图像。GPU 2例如将以与显示器的刷新率匹配的、诸如每秒60帧的速率来渲染要显示的图像。

在这种结构中，系统还将操作以跟踪用户的头部/注视的移动，即所谓的头部姿态跟踪。该头部方位(姿态)数据然后用于确定针对用户当前的头部位置(观看方向)实际上应如何向用户显示图像，并且因此渲染图像(帧)，(例如通过基于头部方位数据设置摄像头(视点)方位)，使得可以显示基于用户当前的观看方向的适当图像。

虽然将可以在开始渲染要在AR/VR系统中显示的帧时简单地确定头部方位(姿态)，但由于渲染过程中的时延，会出现以下情况：在帧渲染开始时与实际上显示(向显示板扫描输出)该帧时的头部方位(姿态)之间，用户的头部方位(姿态)发生了变化。

为了允许这一点，基于在帧的渲染开始时感测的头部方位数据渲染要显示的帧，但然后在实际显示帧之前，基于将向用户实际显示帧时的预期头部方位重新投影该帧。预期头部方位例如可以基于用户在渲染帧的时间与将实际显示帧的时间之间的预测头部移动。然后显示帧的重新投影版本。这允许在显示器上显示的图像较紧密地匹配用户(预测的)当前头部方位。

为了进行该处理，将初始“应用”帧渲染到存储器中的适当缓冲器中，但然后存在二次渲染过程，该二次渲染过程取得存储器中的初始应用帧，并且在考虑预期头部方位的情况下使用预测的头部方位(姿态)信息来渲染出的初始已渲染帧的“重新投影”版本，以提供将向用户显示的帧。这通常涉及基于预测的头部方位(姿态)的、对帧的某些形式的变换。然后显示经这样变换(重新投影)的已渲染帧。