[发明专利]使用相机的平面阵列的沉浸式观看

说明书

本公开涉及使用相机的平面阵列的沉浸式观看。论述了与从多视图图像生成虚拟视图以呈现给观看者有关的技术。这种技术包括基于相对于显示区域的观看者位置确定平面图像的第一和第二裁剪位置并且利用第一和第二裁剪位置将平面图像裁剪成裁剪后平面图像以填充显示区域，从而使得第一和第二裁剪位置定义裁剪后平面图像和与显示区域相对应的虚拟窗口之间的非对称截锥体。

技术领域

本公开大体地涉及图像处理领域，具体地涉及使用相机的平面阵列的沉浸式观看。

背景技术

诸如两个或更多个线状排列的相机之类的相机的阵列在诸如平板设备、智能电话设备、膝上型设备、显示设备、远程呈现系统和电影摄制和视频制作系统之类的多种设备实现中正变得越来越常见。在由这种相机阵列生成的观看体验的情境中，相机之间的中间虚拟视图被生成并被提供给用户以便显示。

用于合成这种中间视图的当前技术渲染在相机位置之间插补的视图。然而，这种视图在视觉上是不直观的并且用户感觉起来可能是人工的。例如，就好像由平面阵列中的虚拟相机提供的这种视图可能不对应于用户在透过由他们正在观看的显示器定义的窗口看时将会看到的东西。

改进合成中间图像的视图以获得增强的用户体验，可能是有利的。正是考虑到这些和其他考虑事项，所以需要本改进。随着在相机阵列实现的情境中显示这种图像或视频的愿望变得更加普遍，这种改进可能变得至关重要。

发明内容

本公开的实施例提供了用于从多视图图像生成虚拟视图的系统。该系统包括：存储场景的多个平面图像的存储器以及与所述存储器耦合的处理器。该处理器：基于多个平面图像获得表现该场景的第一平面图像；基于相对于显示区域的观看者位置，确定第一平面图像的第一裁剪位置和第一平面图像的第二裁剪位置；基于第一裁剪位置和第二裁剪位置将第一平面图像裁剪成裁剪后平面图像以填充显示区域，其中第一裁剪位置和第二裁剪位置定义与表示显示区域的虚拟窗口相对应的第一平面图像的非对称截锥体(frustum)；并且提供裁剪后平面图像来呈现给观看者。

另外，本公开的实施例提供了由上述系统执行的用于从多视图图像生成虚拟视图的方法，以及包括指令的计算机可读介质，所述指令当在计算设备上运行时使得该计算设备执行用于从多视图图像生成虚拟视图的方法。

附图说明

在附图中以示例方式而非限制方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，附图标记在附图之间被重复以指示出对应的或相似的元素。在附图中：

图1图示了用于从多视图图像生成虚拟视图的示例情境；

图2图示了用于从多视图图像生成虚拟视图的示例设备；

图3图示了示范性平行相机和观看图像平面的示例平移后虚拟观看者位置；

图4图示了从观看位置的示例非对称截锥体；

图5图示了示例虚拟观看者位置和相应的用于将平面图像裁剪成裁剪后虚拟图像的相应示例裁剪位置；

图6图示了用于虚拟观看者位置的示例相似三角形；

图7图示了将示例平面图像裁剪成示例裁剪后虚拟图像的示例裁剪；

图8图示了用于另一虚拟观看者位置的示例相似三角形；

图9图示了示例虚拟窗口的边缘之外的示例虚拟观看者位置和相应的示例裁剪位置；

图10A和10B分别图示了示例合成平面图像和示例裁剪后虚拟图像122；

图11是图示出用于从多视图图像生成虚拟视图的示例过程的流程图；

图12是用于从多视图图像生成虚拟视图的示例系统的示意图；