[发明专利]图像处理的系统和方法

说明书

技术领域

本发明涉及图像处理的系统和方法。

背景技术

3D影像的显示可由从不同角度拍摄的大量相机对象的视图来创建。通常，所捕获的图像来自有限数量的相机位置，所以可能必须在捕获图像之间进行插值来给出跨越视角范围的真正3D印象。

传统的视图插值利用具有短基线的单对相机。视图插值的一种普通应用为用于具有诸如在图2a中所示的相机布置的电话会议系统的注视控制。图15(a)、15(b)和15(c)示出这样的相机布置的插值结果。图15(a)是从右侧的网络摄影机拍摄的视图，并且图15(c)是从左侧的网络摄影机拍摄的视图。图15(b)是插值视图。

在视图插值应用中，通常要求矫正(rectification)处理以在立体匹配处理中利用极线约束(epi-polar constrain)。当相机位置的位置被固定时，可以基于一次校准来完成矫正，或者当校准不可行时利用某种图像处理方法(例如，特征点检测和匹配)来完成矫正，例如在Int.Journal ofComputer Vision 35：115-127.1999中R.I.Hartley的“Theory and Practiceof Projective Rectification”中所描述的。矫正的目的是要将两个输入图像变换到公共的图像平面上，在此公共的图像平面上，匹配被约束在两个输入图像之间的同一行内，如在图14中所示出的。

在矫正处理之后，于是从而在此公共的图像平面中执行匹配和插值，并且结果可以被直接示出作为输出。对于如在图2a中所示的这样的布置来说，后置处理(post processing)可以是不必要的。

视图插值还可被应用于来自具有不止两个相机以覆盖更大的视区的相机阵列的输出。图2b示出具有不止两个相机的相机阵列的两个示例。在这两种布置中，所有的相机是并行的并且图像平面可以认为是相互一致的。因此，后置处理可以是不必要的。然而，如果所有相机的图像平面不一致，则后置处理可能变得必要。

在具有不止两个相机的布置中并且在图像平面不一致的情况中，当插值视图跨越每对的边界移动时就会出现问题，如在图3中所示。这是因为矫正仅可以在成对相机之间进行。对于这样的情况，需要后置处理来对来自不同相机对的插值结果的全部集合创建连续的观看效果。

在没有后置处理的情况下，在图3中所示的边界处存在对-对跳跃的效果。图10示出在一个图像到下一图像之间在边界处的突然改变。当在3D显示器上观看时，当观看者正在显示器周围移动时，插值结果中的此不连续效果可能导致不自然的突然改变。

插值结果的另一不自然的效果可能是当在图1中所示的RayModeller图像显示系统170周围观看时的不恰当的梯形失真(keystone)。再次，这是由如下实事引起的：所有插值视图图像都处于相同的经矫正的图像平面上，并且对于不同的视角来说梯形失真是不恰当的。

在Dirk Farin，Yannick Morvan，Peter H.N.de With于2006年6月在Eindhoven，Netherlands的IEEE Workshop on Content Generation and Codingfor 3D-Television上发表的“View Interpolation Along a Chain of WeaklyCalibrated Cameras”中，提出了称为“不经矫正的”后置处理。其思想是不对每个插值视图进行“矫正”来生成有实效的观看效果。在相机对的边界处，“未经矫正”的结果与原始相机图像一致，因此不连续问题得到解决。

从图像矫正处理知道了针对极端视图而在原始图像和经过矫正的图像之间的变换。然而，不能得到对于在这些变换之间的插值结果的变换。因此，可能要在针对两个极端视图的两种变换之间进行插值，以便获得在视觉上可感知的运动。变换矩阵H_(i)b、H_(i+1)a的简单插值可能导致不自然的或者甚至无效的变换(将图像的一部分映射成无穷大)。作为一种替代方法，经过矫正的图像的四个角的运动可被用作参考。这四个角的位置被线性地插值，并且中间的变换被确定为将这四个角映射到画面角的变换。

虽然此替代方法可以生成视觉上连续的结果，但是其可能是不准确的并且可能是复杂的。四个角的线性运动的假设一般而言是无效的，并且当观看位置以及两个相机之间的方向的改变较大时，就可能见到错误。此外，此算法可能是复杂的，因为需要场景各角的用户输入并且需要基于四个角位置的额外的估计步骤。

发明内容