[发明专利]用于渲染全景场景的坐标映射

说明书

提供了一种投影元数据系统和方法，该投影元数据系统和方法用于向渲染系统提供投影元数据以供在渲染全景场景时使用。提供了一种渲染系统和方法，该渲染系统和方法用于使用该投影元数据渲染该全景场景。该投影元数据可以包括机器可读数据，该机器可读数据可以直接提供将由该渲染系统用来渲染该全景场景的坐标映射。例如，可以提供可执行脚本，该可执行脚本当被执行时进行该坐标映射。相比于用信号向渲染系统传输要使用哪个投影的已知方法，这些方法可能通常涉及从多个预定义投影中选择某个投影以及用信号传输该选择，投影元数据的使用可以提供高度灵活性，因为可以为例如该全景场景的不同空间和/或时间部分、不同渲染技术等定义不同投影。

技术领域

本发明涉及一种用于使渲染系统能够渲染全景场景的方法和系统，并且涉及一种用于渲染全景场景的方法和渲染系统。本发明进一步涉及一种包括供渲染系统用来渲染全景场景的投影元数据的计算机可读介质。本发明进一步涉及一种计算机可读介质，该计算机可读介质包括用于执行这些方法中的一个或多个的计算机程序。

背景技术

虚拟现实(VR)涉及使用计算机技术来模拟用户在虚拟环境中的物理存在。通常，VR渲染设备利用头戴式显示器(HMD)向用户渲染虚拟环境，尽管还可以使用其他类型的VR显示器和渲染技术，包括但不限于全息术和洞穴状自动虚拟环境。

使用这种VR渲染设备来渲染VR图像或VR视频是已知的。VR图像或VR视频可以显示全景场景，其中术语“全景场景”指例如场景的至少180度视图。VR图像或VR视频甚至可以提供场景的更大视图，例如，高达360度，从而为用户提供甚至更沉浸式的体验。

全景场景还可以以沉浸式方式被渲染和显示，该沉浸式方式通常不被理解为VR。例如，全景场景可以显示在曲面显示器、圆顶形显示器等上。另一个示例是增强现实，其中全景场景可以被渲染和显示以增强物理现实世界环境的实时取景。

通常，渲染全景场景涉及将全景场景的图像数据投影到虚拟主体(如球面)上，并从虚拟主体内的或面向虚拟主体的视点渲染全景场景。

例如，通常通过将多个图像(例如，使用鱼眼镜头捕获的两个180°图像)拼接在一起来创建360°视频。当要渲染360°视频时，通常将视频图像映射到虚拟主体上，该虚拟主体可以是球面、盒子或其他几何图元或形状。这样做之后，可以从虚拟主体内的或面向虚拟主体的视点渲染全景场景。

为了将视频图像投影到虚拟主体上，使用投影。这种投影可以涉及从视频图像的典型直角坐标到与虚拟主体相关联的坐标系的坐标映射。例如，如果虚拟主体是球面并且与球面坐标系相关联，则坐标映射可以将坐标从视频图像的直角坐标系映射到球面坐标系，反之亦然。

坐标映射因此可以涉及将图像投影到虚拟主体的表面上，反之亦然，这取决于哪个坐标系被用作输入。将球面投影到平面上还是制图学中遇到的问题，并且存在许多不同的解决方案，每种解决方案都有其自己的优点和缺点以及计算复杂度、失真、均匀性等之间的权衡。

例如，可以使用等距柱状投影，该等距柱状投影是其中所有子午线和纬度线都被映射成直线的圆柱投影。由于此平直度，投影的数学定义可能相对简单，并且因此在许多360°视频编码系统中使用。此投影的缺点可能是在所得图像中引入变形。因此，此投影不能保存比例或距离。

已知投影的另一个示例是方位角正交投影，该方位角正交投影类似于从无限远距离处观察球面物体。当使用正交投影将球面投影到平面上时，直线从平面投射到球面上，导致投影正好覆盖球面的一半，例如，半球。这样，可能需要第二图像来覆盖球面的另一半。此投影的缺点可能是被投影图像边缘附近的增加的变形。

计算机系统中图像的离散表示固有的另一个问题是，由投影引起的任何失真都可能导致图像信息的丢失。例如，在输入图像的鱼眼投影中，在输出图像的边缘处的区域相比于在输出图像的中心中的相同区域覆盖更大的输入图像区域。给定图像中像素的均匀分布，输出图像边缘处相比于其中心处可用于输入图像的图像信息的像素更少。