[发明专利]使用超帧传送表面数据的人工现实系统

说明书

本公开描述了片上系统(SOC)集成电路之间表面纹理数据的有效传送。示例系统包括第一集成电路和通过视频通信接口通信耦合到第一集成电路的第二集成电路。第一集成电路在视频通信接口的视频帧中生成超帧，用于传输到第二集成电路。超帧包括多个子帧有效载荷和相应的子帧报头，子帧有效载荷携带要在帧中更新的表面纹理数据，子帧报头包括子帧有效载荷的参数。第二集成电路包括直接存取存储器(DMA)控制器。DMA在接收到超帧时，基于包括在相应的一个子帧报头中的参数，将每个子帧有效载荷内的表面纹理数据直接写入存储器中的分配位置。

技术领域

本公开总体上涉及人工现实系统，例如增强现实、混合现实和/或虚拟现实系统。

背景

人工现实系统正变得越来越普遍，应用于许多领域，例如计算机游戏、健康和安全、工业和教育。作为几个示例，人工现实系统正在被合并到移动设备、游戏机、个人计算机、电影院和主题公园中。通常，人工现实是在呈现给用户之前已经以某种方式调整的现实的形式，其可包括例如虚拟现实、增强现实、混合现实、混杂现实(hybrid reality)、或其某种组合和/或衍生物。

典型人工现实系统包括用于渲染和向用户显示内容的一个或更多个设备。作为一个示例，人工现实系统可合并头戴式显示器(HMD)，该HMD由用户佩戴并且被配置为向用户输出人工现实内容。人工现实内容可以完全包括由系统生成的内容，或者可以包括与捕获的内容(例如，真实世界视频和/或图像)相结合的生成的内容。在操作期间，用户通常与人工现实系统交互以选择内容、启动应用、配置系统，并且通常体验人工现实环境。

概述

总的来说，本公开描述了人工现实(AR)系统和技术，其使用被设计用于传输视频数据的通信协议，以传送非视频表面数据，用于在多设备AR系统内渲染(render)和显示人工现实(AR)内容。示例多设备AR系统包括其中外围设备在与一个或更多个头戴式显示器(HMD)配对时作为协同处理AR设备操作的系统。例如，如本文进一步描述的，外围设备和每个HMD可以各自包括一个或更多个片上系统(SoC)集成电路(本文中称为“SoC”或“SoC集成电路”)，它们被共同配置成提供人工现实应用执行环境。

本文所述的人工现实(AR)系统的各种示例使用视频数据通信协议，经由直接存储器存取(DMA)控制器将原始表面(或纹理)数据从应用处理器传送至储存器。典型地，视频数据通信协议携带用于直接驱动显示器的视频像素数据。在本公开中，视频数据通信协议在AR系统的外围设备内被利用来携带原始表面数据，以便能够稍后渲染AR场景，用于在AR系统的头戴式显示器(HMD)上显示。

在传统显示图形处理中(例如，在所有非AR系统中)，所有表面在应用处理器中合成，以形成输出显示帧，然后将输出显示帧传输至一个或更多个显示器。对于AR系统，各表面由应用处理器生成，合成在图形流水线的最后阶段中执行，要求各表面在整个系统上传输。合成图像(例如，经由AR协同处理SoC集成电路)被传输到一个或更多个显示器。然而，在分布式系统中，执行视频处理的SoC集成电路和控制图像合成和显示的SoC集成电路可能跨一个或更多个设备分离。另外，随着AR场景变得更加复杂，通信带宽限制可能会阻止大量数据以为用户创建流畅的视觉体验所必需的速率(例如，每秒60次)从应用单元可靠地传送到显示器。

当构建要显示的AR内容时，应用可能具有频繁变化的动画图像和不频繁变化的静态图像的组合。例如，玩家化身可以改变以对应于用户的移动，并且商店标志可以在场景持续期间不改变。如下所述，应用SoC集成电路使用视频数据通信协议来传输该通信协议没有被设计来承载的数据。应用SoC集成电路利用了这样的事实，即并非AR场景中所有感兴趣的表面都需要随着每一帧而改变，并且由于HMD的移动而对非更新表面进行的修改(例如，旋转、平移、缩放等)可以在稍后阶段执行(例如，通过HMD上的显示驱动器等执行)。应用单元使用通用通信协议(例如，PCIe等)来传输定义要显示的表面的设置帧(setup frame)，并使用视频数据传输协议(例如，MIPI DSI等)来发送仅包括将在下一个显示周期中更新的表面的数据的原始表面数据。