[发明专利]场景的图像表示

说明书

一种装置包括用于接收场景的图像表示的接收器(301)。确定器(305)确定针对观看者的相对于观看者坐标系的观看者姿态。对齐器(307)通过将场景参考位置与所述观看者坐标系中的观看者参考位置对齐来将场景坐标系与所述观看者坐标系对齐。绘制器(303)响应于所述图像表示以及所述场景坐标系与所述观看者坐标系的对齐而绘制针对不同的观看者姿态的视图图像。偏移处理器(309)响应于对齐观看者姿态而确定所述观看者参考位置，其中，所述观看者参考位置取决于所述对齐观看者姿态的取向并且具有针对所述对齐观看者姿态的相对于观看者眼睛位置的偏移。所述偏移包括在与所述观看者眼睛位置的观看方向相反的方向上的偏移分量。

技术领域

本发明涉及场景的图像表示，并且特别地但非排他性地涉及作为虚拟现实应用的部分的图像表示的生成和根据该图像表示进行的图像绘制。

背景技术

近年来，随着新服务以及利用和消费视频的方式不断得到开发和引入，图像和视频应用的种类和范围显著增加。

例如，一种越来越流行的服务是以观看者能够主动和动态地与系统交互以改变绘制参数的方式提供图像序列。在许多应用中，一个非常吸引人的特征是能够改变观看者的有效观看位置和观看方向，从而例如允许观看者在所呈现的场景中移动和“环顾四周”。

这样的特征能够特别允许向用户提供虚拟现实体验。这可以允许用户例如(相对)自由地在虚拟环境中移动并动态地改变他的位置和他正在看的地方。通常，这样的虚拟现实应用基于场景的三维模型，其中，该模型被动态地评价以提供特定的请求视图。这种方法是众所周知的，例如从用于计算机和控制台的游戏应用(例如，第一人称射击游戏)可知。

还希望所呈现的图像是三维图像，特别是对于虚拟现实应用。实际上，为了优化观看者的沉浸感，用户通常更喜欢体验作为3D场景的呈现场景。实际上，虚拟现实体验应当优选允许用户选择他/她自己的位置、相机视点以及相对于虚拟世界的时刻。

通常，虚拟现实应用固有地受到限制，因为它们基于场景的预定模型，并且通常基于虚拟世界的人工模型。通常希望基于现实世界捕获来提供虚拟现实体验。然而，在许多情况下，这样的方法受限于或往往要求根据现实世界捕获来构建现实世界的虚拟模型。然后通过评价该模型来生成虚拟现实体验。

然而，当前的方法往往是次优的，并且常常具有较高的计算或通信资源要求和/或提供次优的用户体验(例如因质量下降或自由受限)。

在许多例如虚拟现实应用中，场景可以通过图像表示来表示，例如通过一个或多个表示场景的特定观看姿态的图像来表示。在一些情况下，这样的图像可以提供场景的广角视图并且可以覆盖例如完整的360°视图或覆盖完整的视球。

在许多应用(并且特别是对于虚拟现实应用)中，图像数据流是根据表示场景的数据生成的，因此图像数据流反映用户在场景中的(虚拟)位置。这样的图像数据流通常是动态和实时生成的，从而反映用户在虚拟场景内的移动。可以将图像数据流提供给绘制器，该绘制器根据图像数据流的图像数据向用户绘制图像。在许多应用中，向绘制器提供图像数据流是经由带宽受限的通信链路进行的。例如，图像数据流可以由远程服务器生成并(例如通过通信网络)被传送到绘制设备。然而，对于大多数此类应用而言，维持合理的数据速率以实现高效通信非常重要。

已经提出要提供基于360°视频流的虚拟现实体验，其中，场景的完整的360°视图由服务器针对给定的观看者位置来提供，从而允许客户端生成不同方向的视图。特别地，有前途的虚拟现实(VR)应用之一是全向视频(例如VR360或VR180)。该方法往往会引起高数据速率，因此提供完整的360°视球的视点数量通常被限制为较低的数量。

举个具体的示例，虚拟现实眼镜已经进入市场。这些眼镜让观看者可以体验捕获到的360度(全景)视频。这些360度视频通常是使用相机绑定预先捕获的，其中，个体图像被拼接在一起而成为单个球面映射。在一些这样的实施例中，可以生成表示来自给定视点的完整球面视图的图像并将其传送给驱动器，该驱动器被布置为为眼镜生成与用户的当前视图相对应的图像。