[发明专利]用于全景摄影的位置传感器辅助的图像配准

说明书

相关申请的交叉引用

本申请涉及具有美国专利申请序列号13/109875、13/109878、13/109883和13/109941的共同已转让申请，这些申请中的每一个都提交于2011年5月17日，其整体通过引用合并于此。

技术领域

所公开的实施例总体上涉及全景摄影。更特别地，所公开的实施例涉及用于改善具有图像传感器的手持式个人电子设备的全景摄影。

背景技术

全景摄影一般可定义为用于利用延伸的视野捕捉图像的摄影技术。表现出与人眼的视野接近或更大的视野（例如，大约160°宽乘75°高）的图像可称为“全景”。如此，全景图像一般具有2:1或更大的纵横比，意味着图像的宽是高的至少两倍（或相反，在垂直全景图像的情况下，高是宽的两倍）。在某些实施例中，全景图像甚至可以覆盖多达360度的视野，即，“完全旋转”全景图像。

与拍摄赏心悦目的全景图像相关联的许多挑战在现有技术中得到了很好的描述并且是已知的。这些挑战包括摄影问题，诸如：确定由跨全景场景的照明条件的差异所引起的合适的暴露量设置的困难；由对象在全景场景内的运动所引起的图像条的模糊；以及视差问题，即，归因于照像机绕其透视中心（COP）之外的轴的旋转，连续捕获图像中全景场景中的对象的表观位移或表观位置的差异所导致的问题。COP可以被视为照像机查看的视线会聚的点。COP有时也称为“入射光瞳”。取决于照像机的透镜设计，照像机的光轴上的入射光瞳位置可以在透镜系统的背后、内部或者甚至前面。通常需要某些预先捕捉实验，并使用带有照像机滑动组合件的可旋转三脚架装置，以确保照像机在捕捉全景场景过程中绕其COP旋转。显然，这种准备和计算在手持式个人电子设备中以及自组织（ad-hoc）全景图像捕捉中是不期望的。

其他已知的与拍摄赏心悦目的全景图像相关联的挑战包括后处理问题，诸如：适当地对齐用来构建整体全景图像的各种图像；在用来构建整体全景图像的各种图像的重叠区域之间混合；选择不会使全景照片的就照相而言重要的部分失真的图像投影校正（例如，矩形、圆柱形、墨卡托投影）；以及校正顺序捕获的图像之间的透视变化。

相应地，需要改善诸如移动电话、个人数据助理（PDA）、便携式音乐播放器、数码相机以及膝上型计算机以及平板计算机系统之类的手持式个人电子设备上的全景照片的捕捉以及处理的技术。通过访问从嵌入在手持式个人电子设备内或以别的方式与手持式个人电子设备进行通信的位置传感器（例如，微机电系统（MEMS）加速度计和陀螺仪）返回的信息，可以使用诸如此处所描述的那些之类的更有效的全景摄影技术来以对用户而言无缝且直观的方式实现赏心悦目的全景摄影结果。

发明内容

此处公开的全景摄影技术设计成处理由手持式个人电子设备捕获的一系列全景场景。实现此处描述的全景摄影技术的一般化步骤包括：1）从电子设备的图像传感器的图像流获取图像数据（这能随着用户跨全景场景旋转设备而以连续捕获图像帧的形式实现）；2）对所获取的图像数据执行“运动过滤”（例如，使用从手持式个人电子设备的位置传感器中获得的信息来通知对图像数据的处理）；3）在相邻捕获图像之间执行图像配准；4）对捕获图像数据执行几何校正（例如，由于透视变化和/或照相机围绕非COP点的旋转）；以及5）将捕获图像“拼接”在一起，以创建全景场景，即，混合相邻捕获图像之间的重叠区域中的图像数据。由于图像投影校正、透视校正、对准等，合成拼接全景图像可能具有不规则的形状。因此如果需要的话，合成拼接全景图像可在最终存储之前任选地被剪裁成矩形。下面将比较详细地描述这些一般化步骤中的每一个。

1.图像获取

某些现代照像机的图像传感器可以以30帧每秒（fps）的速率（即每大约0.03秒一个帧）捕捉图像帧。在如此高的图像捕捉速率下，并且给定用户所拍摄的平均全景照片的摇摄（panning）速度，由图像传感器捕捉到的许多图像数据都是冗余的，即，与随后或以前捕捉到的图像帧中的图像数据重叠。事实上，如下文将更详细地描述的那样，在某些实施例中，在捕捉每一图像帧之后只保留狭窄的“条”或“切片”可能是有利的。在某些实施例中，条可以只包括图像帧的中间的12.5%。只要保留相邻的捕捉到的图像条之间的足够的重叠量，此处所描述的全景摄影技术就能够创建在视觉上更使人愉快的全景结果，而由于大量的不需要的和/或冗余的数据可被丢弃，所以可以以提高的效率操作。现代图像传感器可以捕捉低动态范围（LDR）和高动态范围（HDR）图像，此处所描述的技术可以应用于每一种图像。

2.运动过滤