[发明专利]视频对准和图像序列缝合

说明书

技术领域

本发明涉及镶嵌式全景图像的构造，尤其涉及用于构建图像对应关系的“匹配”结构的技术，该结构被优化以排列图像，用于将大量图像“对准”到具有静态和/或动态组成部分的基础全景表示。

相关技术

一般来说，镶嵌全景图像是通过组合多个重叠的图像帧以生成全景而在一个或多个维度中被扩展的图像。结果，全景图像的尺寸一般比常规的图像捕获设备(如数字照相机或摄像机)能够在单个图像帧中所捕获的尺寸大。

已经开发了若干常规技术用于生成这种全景图像。例如，基本方法是仅仅拍摄多幅常规的摄影或视频图像以便覆盖所希望的取景空间的全部。然后使用若干常规的图像“镶嵌”或“缝合”算法，将这些图像排列并合成为完整的全景图像。

例如，一个传统的镶嵌方案展示了如何能够自动地识别和缝合包含在一组无序图像中的全景。这些技术允许用户用照相机拍摄若干图像，识别来自同一全景的图像群集，然后将各群集缝合成全景。例如，一种此类方案首先比较图像对中的“点特征”，以生成匹配网格。使用连通分量方法来识别独立的全景。通过使得测量误差最小化来排列每个群集中的图像。最后，每个群集中的图像被扭曲到一合成表面并被混合，以生成输出全景。

当运用于相对较小的数据集时，例如由数字照相机所捕获的图像群集，许多常规的镶嵌方案能够迅速地缝合相关的图像帧以生成镶嵌图像。然而，当数据集变得非常大时，镶嵌图的生成变为更为复杂的处理。例如，利用照相机，用户一般仅仅拍摄几幅或几十幅图像来创建全景。然而，利用摄像机，就容易 在很短的时间段内生成成百上千幅图像。例如，以每秒仅30帧的典型视频速度，仅一分钟内就会生成总共1800个图像帧。

不幸的是，许多镶嵌方案所执行的匹配技术对于匹配如此大量的图像来生成这些图像的单个镶嵌全景来说常常是不切实际的。因此，已经作了努力来提供缝合或镶嵌诸如视频记录之类的更大数据集的有效技术。虽然从视频中缝合全景的概念并非是新的，但是构造这些镶嵌的方法、所采用的基础照相机运动模型、以及算法的细节显著不同。

例如，用于从视频序列生成镶嵌图像的一种常规方法对图像分辨率增强应用使用随接收到的视频帧而变的仿射运动模型。另一种常规的视频镶嵌方案使用八参数透视变换模型。又一种常规的视频镶嵌方案使用“流形投影”(manifold projection)方法与简单的仅平移(translation only)照相机运动模型的组合。该方法导致了用于视频缝合的快速算法，其中使用来自基础场景的像素窄带来形成合成的全景图像。此外，对仅平移照相机模型的使用避免了对计算更为复杂的3D照相机运动的必要性，而这正是许多常规镶嵌方案所做的。

其它常规的视频缝合方案通过一开始仅把视频序列的相邻帧缝合在一起来操作，从而使得匹配问题在图像数量上线性化。然而，此类技术忽略由于照相机在其路径上交叉返回而造成的匹配。通过不包含这些匹配，全景的组成部分可能由于误差累积而漂移。然而，一些常规的镶嵌方案通过将匹配处理和排列处理交错来部分地补偿该问题。具体来说，在每个新的图像被排列到其时间邻居后，空间邻居被识别并用于改进该新图像的定向估计。

另一种从运动分析中生成图像结构的常规的镶嵌方案采用类似的交错的匹配策略。在其它常规的“从运动中构造”(structure from motion)研究中，为从手持视频序列中提取结构和运动而提出了帧“抽选(decimation)”策略。该策略通过使用锐度测量按照全局运动模型来排序帧以考虑去除，来识别“不必要的”帧避免后续计算。然后使用基于运动相关系数的阈值。在用于“从运动中构造”的使用三焦点张量树的更大的系统中，该策略被作为预处理步骤使用。然而，这些方案的一个问题是只要丢弃“不必要的”图像帧就会丢失数据。

另一种常规的视频镶嵌方案通常是通过在假设时间相邻的图像是空间相邻的条件下将图像匹配和定向估计交错来操作的。该方案还假设照相机路径中 的任何环路足够小，使得累积的误差或漂移可被忽略。然而，这些假设可能被认为过于严格，因为它们约束了用户捕获视频记录的能力。此外，该方案不直接处理匹配中的间断，而这会随着同一全景的多个视频而发生。此外，这种匹配和排列的交错要求图像以与视频相同顺序地被排列。