[发明专利]从图像创建深度图

说明书

技术领域

本发明涉及用于为多个图像生成多个深度图的方法和系统。在一个实施例中，这可以在用于足球视频的自动深度估计中使用。

背景技术

有可能在不久的将来，在家庭和商业环境中，三维(3D)显示设备将变得越来越普遍。这样的设备，要么是需要用户戴上专门的眼镜来观看3D图像的立体设备，要么是不需要为了观看3D图像而有任何专门的眼镜的自动立体设备。为了创建3D图像，需要两个不同的2D图像，其中的一个图像提供给用户的左眼而另一个图像提供给用户的右眼。但是提供单个图像以及附加的深度图或差异图（disparity）也是足够的，所述深度图或差异图包含允许生成第二图像的足够的信息。这后一种解决方案具有许多优点，因为它在3D图像的最后递送中允许有更多的灵活性。

然而，事实是：目前以及可预见的将来，大多数图像和视频将被生成为2D图像帧。为了在原始的源是2D图像时创建3D图像，则需要创建深度图。这个深度图可被使用来创建第二图像，或是创建用于第二图像的差异图。

最近在足球分析和2D足球视频到3D的转换的课题方面进行了许多研究[见参考文献1到4]。这些方法中的大多数是根据可获得的数据来估计3D模型。有几个方法使用可以手动/自动校准的多个摄影机[见参考文献1到4]。通常，校准是通过使用在足球场上可看见的线条的交叉而完成的。这主要在球门附近的区域适用，其中许多线条是在摄影机视图中可看见的。这个方法可以通过加上椭圆检测方法而被扩展到场地中心。当在视图中只能看见非常少的线条(或根本看不见线条)时，这样的方法不太有效。在这种情形下，有可能使用运动估计来计算在连续帧之间的单应性（homography）。

在生成深度图时，下一个步骤是检测比赛者和球并估计它们的3D位置，这通常是使用颜色分割来进行[参考文献2]。Liu等人使用高斯混合模型(Gaussian Mixture Model)来检测比赛场地[参考文献2]，同时还已知使用基于直方图的方法来组合HSI和RGB颜色空间。也有可能使用两队的衣服和裤子的颜色，并检测衣服和裤子的组合。在这种情形下，有可能通过使用比赛者的衣服的颜色、他们的相对的垂直位置和/或平均速度，而分开地跟踪互相遮挡的多个比赛者。当球在地面上时，球的位置可以容易地估计，但球在空中时位置就难以估计。在这样的情形下，典型地假设抛物线轨迹，因此，需要球在接触地面时的两个点。Liu等人手动地指示这样的点[参考文献2]。不同的解决方案是使用多个摄影机，或单个摄影机以及当球接触地面时它的方向的改变。

那些工作中的主要应用是自由视点视频，其中用户可以选择来自任意视点的视图，其是从在固定摄影机位置处捕获的视点内插的。在这样的情形下，场地、比赛者和球的3D重建常常是从输入数据进行构建的。将比赛者和球放置在虚拟3D足球场的正确位置的这个处理过程提出了与比赛者的姿势估计或对于更精确分割的抠像（matting）有关的附加要求。如果没有检测到比赛者，就不能把他正确地放置在3D模型中。

在诸如3D TV之类的应用中，主要目标是产生视觉上令人愉悦的深度图像。对于这样的应用的约束条件与对于自由视点视频的约束条件不同，且其常常不那么严格。例如，没有被检测到的比赛者接收与周围的场地像素相同的深度值。这减少了深度效果，且给出局部失真，但它没有造成诸如在重建完全的3D模型时的伪像。然而，对于令人愉悦的观看体验，需要高度的鲁棒性和时间稳定性。

现有方法的主要问题是这些方法对于特定类型的情景失效。如上所述，摄影机校准对于包含球门的情景适用，但当捕获场地的中心部分时表现要差得多。现有方法的另一个问题是，它们有时需要带有专门的摄影机的装置，为此需要进行顺应于捕获基础设施的昂贵的调整。

现有技术算法的焦点在于产生正确的3D模型，而不在于3D印象和鲁棒性。为了克服算法的不稳定性问题或弱点，许多已提出的算法需要相当大量的手动干预来指示例如线交叉点、连接空中轨迹的在地面上球的开始点和结束点、或难以进行分割的比赛者的校正。

发明内容

所以，本发明的目的是对于已知技术进行改进。

按照本发明的第一方面，提供了为多个图像生成多个深度图的方法，该方法包括：接收第一图像、得到与由第一图像定义的镜头(shot)有关的信息、按照第一图式(schema)生成对于第一图像的深度图、接收第二图像、得到与由第二图像定义的镜头有关的信息、检测在第一和第二图像之间在所得到的信息中的改变、以及按照第二图式生成对于第二图像的深度图，该第二图式具有与第一图式的复杂性不同的复杂性。