[发明专利]照相机、包括照相机的系统、操作照相机的方法和用于对记录的图像去卷积的方法

说明书

技术领域

本发明涉及一种照相机，该照相机包括透镜和图像传感器（sensor），其中在图像曝光时间期间改变传感器与透镜之间沿着光轴的距离和透镜焦距的比值。本发明还涉及一种用于对图像传感器捕获的图像数据去卷积（deconvolute）的方法。

背景技术

诸如CMOS和CCD传感器之类的常规图像传感器综合曝光时间期间撞击到其上的所有光。这提供了静止物体的清晰图像，但是对于在快门打开的同时运动的物体导致空间模糊（blur）。未聚焦的物体也模糊不清。所谓的运动模糊与曝光时间和物体速度成比例。当照相机在低光水平条件下操作时，前者特别棘手。在这样的情况下，长曝光时间是所希望的，以便达到足够高的信噪比水平，从而可以充分地对场景的暗区成像。因此，许多照相机经受运动模糊与动态范围之间的经典折衷。曝光时间需要为长，以便捕获足够的光，但是需要为小，以便降低运动模糊。在本发明的框架内，措词照相机包括用于拍摄照片的照相机以及用于视频目的的照相机。

第一段中所描述类型的照相机和方法可从Nagahara等人的文章“Flexible Depth of Field Photography”，H. Nagahara, S. Kuthirummal, C. Zhou, and S.K. Nayar, European Conference on Computer Vision (ECCV), Oct, 2008中获悉。

在Nagahara等人的文章中，示出了用于拍摄照片的照相机，其中传感器与固定焦距透镜之间的距离是变化的。在曝光时间期间在一定距离上扫描（sweep）传感器。扫描距离被设置成扫描一系列场景深度范围以便增加景深。Nagahara等人的文章中公开的现有技术照相机降低了离焦模糊。为了降低离焦模糊，沿着光轴扫描传感器以便覆盖特定深度范围。

传感器的扫描提供了复合图像，其事实上是不同焦深处的若干图像的组合。可以计算点扩散函数（PSF）。点扩散函数实际上是物体点将在传感器上形成的像。对于完全聚焦的物体而言，点扩散将为零，并且因而PSF将为狄拉克函数。该函数的傅立叶变换对于所有频率均为常数。对于未聚焦的点而言，PSF为散开（spread-out）函数，对于在照相机固定的同时运动的物体而言，PSF将由于该运动而在一定距离上散开。根据PSF，可以计算逆点扩散函数（IPSF）。对复合图像去卷积允许获得清晰的图像，并且获得增加的景深。这归因于以下事实：如Nagahara的文章所表明的，当扫描传感器时，不同距离处的静止物体的PSF在相当大程度上变得相同。因此，利用同一个IPSF对原始图像去卷积将允许实现所有距离处或者至少增加的距离范围处的清晰图像，并且对于静止物体获得增加的景深。

尽管离焦模糊及其降低可能是并且是重要的，但是如上面所解释的主要问题对于运动物体仍然存在和保留着，即运动模糊，对于较大的曝光时间而言，尤其如此。

Nagahara已经提到了与运动模糊关联的问题，但是没有给出解决方案。

用于降低运动模糊的一种已知的解决方案是使传感器垂直于光轴地运动。该解决方案例如可从Levin等人的文章“Motion-Invariant Photography”，A. Levin, P. Sand, T. S. Cho, F. Durand, W. T. Freeman. SIGGRAPH, ACM Transactions on Graphics, Aug 2008中获悉。本质上，该解决方案相当于在曝光期间使传感器从左到右运动（或者反之亦然）以便降低由于水平运动而引起的运动模糊。

除了Levin等人的文章中建议的解决方案之外，可以借助于视频处理对运动模糊反演（invert）。这是通过运动估计和沿着运动轨迹的逆滤波来实现的。这例如可从US6930676中获悉。然而，在实践中，这样的过程的结果经受不精确的运动矢量，对于遮挡区域而言，尤其如此。必须知道运动轨迹并且据此推断运动矢量以便能够进行逆滤波。在用于专业应用的许多独立照相机中，可能根本不能获得运动矢量。例如，用于监控或活动监视的许多照相机的记录仅仅向基于计算机视觉的分析过程（例如可疑对象的自动检测、老年人的跌倒检测等等）提供输入。在这些情景中，原始输入帧的质量是检测系统的性能的决定因素。足够精确的运动矢量在照相机内不可以动态地获得，并且记录的视频的后处理不是实时监视系统中的选项。对于拍摄单幅快照的照相机而言，基本上不可能精确地确定运动矢量。在遮挡区域处，运动估计也是极为困难和不精确的（如果竟然可能的话）。在低光条件下，问题由于光的缺乏而增加。