[发明专利]使用相机的平面阵列的沉浸式观看

权利要求书

1.一种用于从多视图图像生成虚拟视图的系统，包括：

存储器，存储场景的多个平面图像；以及

与所述存储器耦合的处理器，该处理器：

基于所述多个平面图像获得表现所述场景的第一平面图像；

基于相对于显示区域的观看者位置，确定所述第一平面图像的第一裁剪位置和所述第一平面图像的第二裁剪位置；

基于所述第一裁剪位置和所述第二裁剪位置将所述第一平面图像裁剪成裁剪后平面图像以填充所述显示区域，其中所述第一裁剪位置和所述第二裁剪位置定义与表示所述显示区域的虚拟窗口相对应的所述第一平面图像的非对称截锥体；并且

提供所述裁剪后平面图像来呈现给观看者。

2.如权利要求1所述的系统，其中，所述第一裁剪位置在按如下比率的量离开所述第一平面图像的中点朝向所述第一平面图像的第一边缘的位置：与所述第一平面图像相对应的焦距和虚拟观看者位置从所述虚拟窗口的第一边缘起的横向位置的乘积与所述虚拟观看者位置距所述虚拟窗口的距离的比率，其中所述虚拟观看者位置对应于所述观看者位置。

3.如权利要求2所述的系统，其中，所述第一平面图像的第一边缘和所述虚拟窗口的第一边缘是对应的顶边缘、底边缘、左边缘或右边缘之一。

4.如权利要求2或3所述的系统，其中，所述第二裁剪位置在按如下比率的量离开所述第一平面图像的中点朝向所述第一平面图像的第二边缘的第二位置：所述焦距乘以所述虚拟窗口的宽度与所述虚拟观看者位置从所述虚拟窗口的第一边缘起的横向位置之间的差值的乘积与用户距所述虚拟窗口的距离的比率。

5.如权利要求2或3所述的系统，其中，所述第二裁剪位置在按如下比率的量离开所述第一平面图像的中点朝向所述第一平面图像的第一边缘的位置：所述焦距乘以所述虚拟观看者位置从所述虚拟窗口的第一边缘起的横向位置与所述虚拟窗口的宽度之间的差值的乘积与所述虚拟观看者位置距所述虚拟窗口的距离的比率。

6.如权利要求1到5中任一项所述的系统，其中，所述处理器在第一维度上在所述第一裁剪位置和所述第二裁剪位置裁剪所述第一平面图像并且基于所述显示区域的纵横比在第二维度上在第三裁剪位置和第四裁剪位置裁剪所述第一平面图像。

7.如权利要求1所述的系统，所述处理器还：

在观看者移动到第二观看者位置之后基于所述场景的第二多个平面图像获得表现所述场景的第二平面图像；并且

基于相对于所述显示区域的第二观看者位置，确定所述第二平面图像的第三裁剪位置和所述第二平面图像的第四裁剪位置，其中与所述观看者位置相对应的第一虚拟观看者位置在所述虚拟窗口的第一边缘和第二边缘之间并且与所述第二观看者位置相对应的第二虚拟观看者位置在所述虚拟窗口的第一边缘和第二边缘中的一者之外，并且其中所述第一裁剪位置和所述第二裁剪位置在所述第一平面图像的中点的相反侧并且所述第三裁剪位置和所述第四裁剪位置在所述第二平面图像的中点的同侧。

8.如权利要求1到7中任一项所述的系统，其中，所述多个平面图像包括经由相机阵列捕获的图像，其中所述观看者位置平移到所述相机阵列中的一个相机的图像捕获位置，并且其中所述第一平面图像包括多个捕获平面图像中相应的一个捕获平面图像。

9.如权利要求1到7中任一项所述的系统，其中，所述多个平面图像包括经由相机阵列捕获的图像，其中所述观看者位置平移到所述相机阵列的第一相机和第二相机之间的位置，并且其中所述处理器获得所述第一平面图像包括所述处理器通过以下方式来在分别与所述第一相机和所述第二相机相对应的第二平面图像和第三平面图像之间合成所述第一平面图像：基于所述第二平面图像和所述第三平面图像生成双向视差图并且基于所述双向视差图将所述第二平面图像和第三平面图像卷曲到所述第一平面图像。