[发明专利]从用手持拍摄装置采集的多个图像的全对焦成像的系统和方法

说明书

背景技术

当用拍摄装置捕获图像时，典型地在单一深度实现聚焦。给出包括在背景前面的单个对象的场景，例如，拍摄装置可聚焦在前景中的对象上（让背景模糊），或聚焦在背景上（让前景对象模糊）。

然而，在某些情形下，可能合意的是具有其中多于一个对象呈现为对焦的图像。可能更加合意的是相同图像中的一切都呈现对焦。在过去，这需要拍摄相同场景的多个图像，其中每个图像具有不同的焦深。这还需要使用固定式拍摄装置。这产生多个图像，其中场景中的不同对象可以在每个图像中处于相同的位置。这些多个图像然后可被混合，使得场景的所有对焦要素可在单个图像中组合。

已经证明由于若干原因该方法是有问题的。首先，固定式拍摄装置的使用并不总是可行的。尽管例如三脚架的使用可能是合意的，但实际上这样的布置并不总是可用的。拍摄装置通常是手持的，使得拍摄装置可时刻移动或晃动。其次，混合过程传统上涉及复杂的算法，其需要大量的处理能力。

附图说明

图1是图示一实施例的总体处理的流程图。

图2是图示根据一实施例的对齐过程的流程图。

图3是图示根据一实施例的欧拉角的估计的流程图。

图4是图示根据一实施例的混合过程的流程图。

图5是图示根据一实施例的拉普拉斯金字塔的构造的数据流图。

图6是图示根据一实施例的缩减过程的流程图。

图7是图示根据一实施例的扩大过程的流程图。

图8是图示根据一实施例的拉普拉斯金字塔重建过程的数据流图。

图9是图示一实施例的软件或固件实现的框图。

在图中，参考标号的最左边数字指示第一次呈现该参考标号的图。

具体实施方式

现在参考图来描述实施例，其中类似的参考标号指示相同或功能上相似的要素。而且在图中，每个参考标号的最左边数字对应于第一次使用该参考标号的图。尽管论述了具体配置和布置，但应该理解这仅仅是为了说明性目的而进行的。相关领域内的技术人员将认识到可以使用其他配置和布置而不偏离本描述的精神和范围。对相关领域内的技术人员将是明显的是：这也可以在除了本文所描述的系统和应用以外的多种其他系统和应用中采用。

本文所公开的是创建其中在不同焦深的对象都可以呈现为对焦的图像的方法和系统。在一实施例中，场景中的所有对象可呈现对焦。可适应非固定式拍摄装置，使得可容许由晃动或其他运动导致的场景中的变化。可使用图像对齐过程，并且对齐的图像可使用这样的过程混合：该过程可使用具有相对有限的执行能力的逻辑实现。混合过程可取一组对齐的输入图像并且将每个图像转换成拉普拉斯金字塔（LP）。图像的LP是包括图像的若干处理版本的数据结构，每个版本具有不同的大小。该组对齐图像因此可被转换成一组LP。这些LP可组合成复合LP，该复合LP然后经历拉普拉斯金字塔重建（LPR）。LPR过程的输出是最终混合的图像。

根据一实施例，在图1中图示总体处理。在110，两个或更多的图像可被对齐。在120，对齐的图像可被混合。110和120两者的实施例都在下文更详细地描述。

根据一实施例，在图2中图示拍摄装置旋转的估计和所得图像对齐的过程。注意其他对齐模型是可能的，例如仿射模型。在210，可计算输入图像的灰度级表示的高斯多分辨率表示（MRR）。从概念上，这样的表示可被视为金字塔结构，其中第一表示或金字塔层可以是图像的相对粗糙的表示，并且每个后续表示可以是相对于以前的表示的图像的更精细的表示。图像的此多分辨率表示可允许粗糙到精细的估计策略。在一实施例中，出于计算效率的目的，输入图像的此多分辨率表示可使用二项式B₂滤波器（1/4，1/2，1/4）来计算。

在图2的实施例中，可从最粗糙层开始对金字塔的每层执行序列220至240。一般地，该过程可基于梯度约束，其假设对齐（或配准）的两个图像之间的强度在逐个像素基础上被移位，但它们的强度值被保留。梯度约束可表述为

其中I表示图像强度，d表示位移，并且，其中I₂(p)和I₁(p)是像素p处的图像强度。

图像中的每个像素可贡献一个约束以及一般两个未知数。然而，可假设拍摄装置旋转晃动可超过拍摄装置平移在图像运动中占主导地位，使得两个图像之间的位移可以表达为

，