[发明专利]图像处理装置、图像处理方法、图像处理系统和存储介质

说明书

本发明提供一种图像处理装置、图像处理方法、图像处理系统和存储介质。该图像处理系统基于通过使用多个照相机从多个方向对图像拍摄目标区域的图像进行拍摄而获取的多个拍摄图像，来生成虚拟视点图像，所述图像处理系统包括：存储控制单元，其在存储单元中存储关于如下内容的可见性信息：关于图像由所述多个照相机中的至少一个照相机拍摄的对象的三维形状模型的元素；获取单元，其获取指示一个或更多个虚拟视点的视点信息；以及图像生成单元，其基于所述多个拍摄图像、三维形状模型以及存储在存储单元中的可见性信息，生成与通过视点信息识别的一个或更多个虚拟视点相对应的虚拟视点图像。

技术领域

本发明特别涉及一种用于生成虚拟视点图像的图像处理系统。

背景技术

需要从通过使用放置在现实世界中的多个不同位置和姿势上的照相机(下文中，“真实照相机”)拍摄被摄体的图像而获取的图像中实时生成放置在虚拟空间中的位置和姿势的虚拟照相机的图像(下文中，“虚拟视点图像”)。如果实现这一点，例如，用户可以从各种角度观看足球或篮球比赛的精彩片段，以与诸如观看电视机的正常观看相比感觉到高度逼真的感觉。

然而，难以在短时间内生成虚拟视点图像，因为需要花费很长时间来执行从多个图像中估计被摄体的三维形状(下文中，“形状模型”)的形状估计处理和判断形状模型是否从照相机可见的可见性判断处理。为了解决该问题，日本专利第5945255号讨论了一种基于照相机与虚拟照相机之间的几何关系，高速生成虚拟视点图像的方法。

用户观看虚拟视点图像的情况之一是观看多个虚拟视点图像的情况。一个示例是同时观看用于观看特写镜头中的运动员(player)的虚拟视点图像和用于从更高的角度观看地面上的运动员的移动的虚拟视点图像的情况，并且另一示例是场地的大量观众分别使用智能手机操作虚拟照相机来观看图像的情况。如果针对各个虚拟视点进行上述形状估计处理和可见性判断处理以同时生成多个虚拟视点图像，则用于进行这些处理的信息量变得巨大。日本专利第5945255号中讨论的技术需要大量信息来生成多个虚拟视点图像，因为形状估计处理和可见性判断处理依赖于虚拟照相机。特别地，可见性判断处理所需的范围图像的数量根据拍摄图像的大小和照相机的数量而增加，使得生成多个虚拟视点图像导致传送时间和数据量的增加。

发明内容

根据本发明的一个方面，一种图像处理系统，其用于基于通过使用多个照相机从多个方向对图像拍摄目标区域的图像进行拍摄而获取的多个拍摄图像，来生成虚拟视点图像，所述图像处理系统包括：存储控制部，其用于在存储部中存储关于如下内容的可见性信息：关于图像由所述多个照相机中的至少一个照相机拍摄的对象的三维形状模型的元素，其中所述可见性信息指示，针对所述多个拍摄图像当中的一个或更多个拍摄图像中的各个拍摄图像，与所述元素相对应的像素是否被包括在拍摄图像中；获取部，其用于获取，指示一个或更多个虚拟视点的视点信息；以及图像生成部，其用于基于所述多个拍摄图像、三维形状模型以及由存储控制部存储在存储部中的可见性信息，生成与通过由获取部获取的视点信息而识别的所述一个或更多个虚拟视点相对应的虚拟视点图像。

根据下面参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1例示了根据示例性实施例的图像生成装置的硬件构造的示例。

图2是例示根据第一示例性实施例的图像处理系统的功能构造的示例的框图。

图3是例示第一示例性实施例中的生成虚拟视点图像的处理的流程图。

图4例示了作为可见性信息的比特阵列的示例。

图5是例示根据第二示例性实施例的图像处理系统的功能构造的示例的框图。

图6是例示第二示例性实施例中的生成虚拟视点图像的处理的流程图。

图7例示了范围图像(range image)中的围绕被摄体区域的矩形区域。