[发明专利]用于恢复视频流中的视差的方法和滤波器

说明书

技术领域

本发明涉及图像视差的恢复，例如来自至少两个同步立体图像流的起伏(relief)的恢复，或通过分析连续图像流的图像的运动恢复。

背景技术

本领域技术人员已非常了解通过立体图像对起伏进行光学复原的原理。例如通过使用双筒镜将观察者的眼睛的位置分别与两部摄像机的透镜的位置相匹配来得到这种复原。因为在这些图像的场景中显示的各种物体或人物(仅在现实中)位于不同的点，因为：i)摄像机的视点不同；ii)在该场景中，所述物体或人物处于离摄像机不同距离或不同深度处，所以观察者的大脑复原了场景的起伏印象。

但这里所关心的不仅仅是印象，而关心是通过从数字的立体图像数据中恢复物体或人物的深度来精确地量化(quantify)它们在场景中的深度。

在完成该恢复的过程中，可以在拍摄照片的同时处理照片，即除了那些由摄像机与摄像机系统的任何动态移动之间的(固定的)位置偏移而引起的移动之外，原则上不涉及的两个图像之间的场景中的东西或人的移动，假定这是公知的。

然而，也希望恢复以恒定的明确的时间间隔相继对给定场景拍摄的两个连续照片之间的物体或人物的移动。

不管如这两种情况的后者那样在时域中完成恢复，或者如前者那样在空间域中完成恢复，需要解决的问题是相同的，并且主要是确定可能是连续的或同时的两个图像之间的东西或人的移位。

简而言之，如果想恢复动态设置中的起伏，那么就必须同时考虑到摄像系统的移位、由于场景中的物体移动引起的移位，以及由于他们的深度而在图像中的相对移位。所有这些移位毫无区别地引起了各图像之间的视差，这些视差需要被精确地量化。于是，随后的计算有可能将移动和/或移位与深度区分开来，或将深度与移动和/或移位区分开来。

如在Tian和Barron的文章“A quantitative comparison of 4 algorithmsfor recovering dense accurate depth”，Proceedings of the Second CanadianConference on Computer and Robot Vision，IEEE 6/05中所陈述的，为了恢复视差，需要强迫人使用通常在实时应用情况下难以使用的基于卡尔曼滤波器的计算方法。

卡尔曼滤波器是预测性的递归统计滤波器，其假设待估计变量所采用的表示(在这种情况下图像像素的深度)本质上是马尔可夫过程。这个假设使基于每次迭代来计算在观察之前(作为预测)和观察之后每个变量的估计中产生的协方差误差成为可能，并且也由此使导出将被应用于随后的观察的增益或加权值成为可能。所述滤波器是递归的，因为它不需要保留以前的观察值。

在许多领域中大量使用这些滤波器以用于实时应用，在这些实时应用中要被估计的变量数目足够少或各观察之间的可用时间足够大，从而允许对所涉及的变量数目完成计算。在计算立体图像的深度的背景下，变量数目大致上与图像像素的数量级相等，并且两个观察之间的时间至多以几十毫秒表示，推算视频流的连续图像之间的迭代数目大约至少为十。现在，因此甚至没有可能仅在滤波器的每次迭代中计算所有变量的协方差，然而，该操作对于计算卡尔曼滤波器的增益是重要的。

发明内容

本申请人已认识到诸如3D透镜状监视器上的三维同步图像的瞬间复原、通过空中或空间摄影术对起伏的瞬间确定等等应用，并且面临在动态设置以及实时情况下恢复图像视差的问题。

在此背景下，本申请人寻找更直接的计算方法，而不建议使用不适用于三维显像应用的卡尔曼滤波器方法。

基于这样的想法，本发明涉及用于通过数字滤波处理来恢复包含由像素行形成的数字化图像的视频流的数字图像中的视差，以便由数字滤波处理来产生关于各图像之间视差的数据，本方法包括对要在深度上被精确定位的图像像区(site)进行确定的初始阶段，以及所述滤波是基于由像区像素的特性和所述像区与邻近所述像区的像区之间的图像相似性同时支配的加权平均值来计算在所述图像的各像区之间的视差的递归滤波。有益地，通过在每次迭代中都将小的随机扰动添加到深度估计来在递归滤波器计算的每次迭代中改进所述滤波器的收敛品质。

加权仅由在临近的邻域中完成的观察而支配。避免了协方差的计算。

附图说明

依据下面根据用于恢复视频流图像的起伏和移动的本发明的递归滤波过程或处理的描述以及附图来更好地理解本发明，其中：

附图1图示了通过迭代循环的过程中两个图像的递归滤波来实施的深度恢复过程；以及

附图2是根据本发明的递归滤波器的功能流程图。