[发明专利]图像恢复方法

说明书

本发明涉及一种恢复图像序列的图像的方法，包括当应用于图像序列的第一图像时：估计(41)表示第一图像的背景相对于第二图像的全局运动的信息项；补偿(42)第二图像中的全局背景运动，以获得第二图像的配准版本，称为配准的第二图像；通过使用配准的第二图像应用分割方法来获得(43)第一图像中的对象的轮廓；使用由此获得的对象的轮廓来估计(44)表示对象的全局运动的信息项；以及使用表示全局背景运动和对象的全局运动的所估计的信息项对第一图像应用(45)图像恢复方法。

技术领域

本发明涉及一种恢复图像序列中的图像的方法以及实现所述方法的设备。

背景技术

一些应用使用需要非常高的图像质量的图像或图像序列。例如，对于低图像质量可能导致图像的错误解释(例如，触发误警报)的监视应用就是这种情况。图像的恢复包括通过对其应用各种图像处理技术(例如，降噪或噪声抑制技术、轮廓改进技术、对比度改进技术等)来改进图像的质量。

图像序列(即，视频系列)中的图像是特定图像实例，因为该图像通常视觉上与图像序列中时间上相邻的图像相似。实际上，用于获取图像序列的设备(例如，视频相机)通常具有足够高的图像获取频率，以便于图像序列中的连续图像之间保持时间相关性。使用得当的情况下，这些时间相关性可使得图像能够受益于通过图像恢复方法提供给一个或更多个相邻图像的改进。然而，识别图像之间存在的时间相关性并不总是容易的事情。当图像序列表示本身在运动中的背景上的至少一个运动中的对象，那么该背景能够被视为对象时尤其如此。为了能够有效地受益于两个图像之间存在的时间相关性，期望的是考虑对象的运动和背景的运动。包括运动中的对象的已知图像恢复方法包括运动分析阶段。该运动分析阶段使得可将两个图像之间相关的像素匹配。然后，提供给第一图像的第一像素的改进可有益于与第一像素相关的第二图像的第二像素。运动分析阶段通常使用光流技术，该技术包括估计密集运动场，其中，待恢复的图像的各个像素(或至少像素的子集)通过运动向量与相对于其确定运动的参考图像的像素关联。这些图像恢复技术被认为不够可靠以进行质量图像恢复。另外，密集运动场的估计具有高计算成本。这样的计算成本与倾向于使用图像恢复方法的某些嵌入式或便携式系统(例如，视频相机、数字双筒望远镜、增强现实眼镜等)不兼容。因此，通常优选的是在运动分析阶段期间利用计算成本较低的运动分析技术(例如，全局运动估计技术)来代替用于估计密集运动场的技术。当满足图像序列所表示的场景平稳的假设时，全局运动估计技术特别有效。

此外，在运动分析之后，通常对待恢复的图像的各个像素应用相同的图像恢复方法。然而，并非图像的所有像素均具有相同的兴趣。实际上，惯常的是图像表示对象和背景。例如，当必须精确地识别对象时，获得对象的详细视觉表现是有用的，而在最佳情况下，背景仅用于将对象置于上下文中。图像恢复方法是已知的，其中，运动分析阶段之后是图像的分割。图像的分割使得可根据预定义的标准将图像分成均匀的子部分。在知道构成图像的子部分的情况下，可根据各个子部分的兴趣应用效果更强或更弱(因此，复杂度更大或更小)的图像处理。当在估计密集运动场之后分割时，该分割可能依赖于通过在运动方向上将图像分成均匀子部分而获得的密集场。然而，该分割方法可能给出近似结果，特别是当密集运动场嘈杂时。

存在其它分割方法，例如基于主动轮廓的分割方法。然而，这些方法通常旨在用于固定图像，当它们应用于图像序列中的图像，它们很少使用(或不使用)图像之间存在的时间相关性。

期望的是克服现有技术的这些缺点。

发明内容

特别期望的是提出一种适合于包括运动中的对象的图像的图像恢复方法和设备。还期望的是该方法和该设备适合于图像的背景本身在运动中的图像。最后，期望的是所述方法具有低计算成本并且能够由诸如嵌入式或便携式系统的计算能力低的系统实现。

根据本发明的第一方面，本发明涉及一种用于恢复图像序列中的图像的方法，该方法包括当其应用于图像序列中的第一图像时：

估计表示第一图像的背景相对于第二图像的全局运动的信息项；