[发明专利]全景处理

说明书

相关申请的交叉引用

本申请与具有律师案卷号P10712US1(119-0224US)、P10713US1(119-0225US)、P10714US1(119-0226US)和P10715US1(119-0227US)的共同转让申请相关，这些申请全都于2011年5月17日提交，并且这些申请全都通过引用全文结合在此。

技术领域

本公开的实施例一般地涉及全景摄影。本公开的实施例尤其涉及改善具有图像传感器的手持式个人电子设备的实时全景摄影处理的技术。

背景技术

全景摄影一般地可被定义为使用加长视野捕捉图像的摄影技术。示出的视野近似或大于人眼视野（例如，约160度宽75度高）的图像可被称为是“全景的”。由此，全景图像一般具有2:1或更大的宽高比，这意味着图像的宽至少是其高的两倍（或者反过来，在垂直全景图像的情况下，高是宽的两倍）。在某些实施例中，全景图像甚至可以覆盖高达360度的视野，即“全旋转”全景图像。

存在与拍摄视觉上吸引人的全景图像关联的诸多挑战。这些挑战包括诸如以下各项的摄影问题：由跨全景场景的照明条件差异引起的难以确定合适曝光设置；由全景场景内的对象运动引起的跨图像接缝的模糊；以及视差问题，即归因于相机围绕其透视中心（COP）以外的轴旋转而由连续捕捉的图像中全景场景内对象明显位置的明显位移或差异引起的问题。COP可被认为是由相机观察的视线所聚集的点。COP有时也被称为“入射光瞳”。取决于相机的镜头设计，入射光瞳在相机光轴上的定位可以在镜头系统之后、之内、甚至之前。通常要求一定量的预捕捉实验，并且使用具有相机滑动组件的可旋转三脚架布置来确保在全景场景的捕捉期间相机围绕其COP旋转。这类预备和计算是手持式个人电子设备和自由（ad-hoc）全景图像捕捉领域中所不期望的。

与拍摄视觉上吸引人的全景图像关联的其他挑战还包括诸如以下各项的后处理问题：正确对齐用于构造整个全景图像的各图像；用于构造整个全景图像的各图像的重叠区域间的融合（blending）；挑选不会使得全景照片的重要部分摄影变形的图像投影校正（例如，矩形、圆柱形、墨卡托(Mercator)）；以及校正连续捕捉的图像之间的透视变化。

此外，摄影者在全景扫视期间跟踪他或她的行进也会是挑战性的，这是因为行进可能会导致扫视期间相机的视野可能会逐渐向上或向下偏移（在水平全景扫视的情况下）。某些现有的全景摄影系统在组成图像（constituent image）已被捕捉很久之后才组装各组成图像来创建合成全景图像，并且通常使用昂贵的后处理软件。如果捕捉的组成图像的覆盖范围被证明不足以组装合成全景图像，用户将无处求助。迄今为止，全景摄影系统尚无法在全景扫视期间同时生成全景图像的全分辨率版本同时向用户提供有意义的全景图像预览，由此也无法在用户完成全景扫视的基本同时准备好全景图像的全分辨率版本以供存储和/或查看。

因此，需要一种对诸如移动电话、个人数字助理（PDA）、便携式音乐播放器、数码相机、以及膝上型和平板计算机系统的手持式个人电子设备上的全景照片的捕捉和处理进行改进的技术。通过利用对捕捉图像的全分辨率部分和较低分辨率部分两者进行操作的分割图形处理流水线，可以使用诸如本文描述的更高效的全景摄影处理技术来实现视觉上吸引人的全景摄影结果并且以无缝和直观的方式提供有意义的全景预览图像。

发明内容