[发明专利]使用阵列相机执行高速视频捕获和深度估计的系统和方法

说明书

本发明公开了使用阵列相机的高速视频捕获和深度估计。真实世界场景通常包括与相机位于不同距离的物体。因此，在通过相机阵列捕获视频期间进行深度估计可导致从真实世界场景中捕获的图像数据更加流畅地呈现视频。本发明的一个实施方案包括从不同视点捕获图像的相机以及从相机组获取图像的图像处理流水线应用程序，其中每组相机相对于其他组相机以交错的开始时间开始捕获图像数据。接着，该应用程序选择参考视点，并通过执行差异搜索以识别不同视点的像素最为相似时的差异，从而确定将从交替视点捕获的像素移位至该参考视点的场景相关几何校正。然后可使用该校正呈现视频帧。

技术领域

本发明整体涉及数字相机，更具体地，涉及使用阵列相机捕获视频和图像的系统和方法。

背景技术

Schechtman et al.“Increasing Space-Time Resolution in Video,”EuropeanConference on Computer Vision(ECCV),May 2002(Schechtman等人，“增加视频中的时空分辨率”，欧洲计算机视觉国际会议(ECCV)，2002年5月)和Wilburn et al.“High-SpeedVideography using a Dense Camera Array”IEEE Society Conference on PatternRecognition,2004(Wilburn等人，“使用密集相机阵列进行高速摄像”，IEEE协会模式识别会议，2004)中提出了使用相机阵列进行高速摄像。

Wilburn等人的论文公开了创建高速视频序列包括将阵列中的相机对准参考视点，并指出这是一项困难的任务。因此，Wilburn等人的论文提出使用简化假设，即成像的场景位于单个物体平面的浅深度内。Wilburn等人的论文指出，这个假设仅适用于相对平坦或相对于相机间距足够远的阵列的场景。Wilburn等的论文指出，如果假设不成立，离开焦面的物体将保持锐化，但由于对准误差将在对准图像的帧之间移动。

对准误差是场景内不位于单个物体平面上的物体的错误深度估计的函数。由于每只眼睛的视野不同，对场景的双眼观察会产生场景的两个略微不同的图像。这些不同被称为双眼差异(或视差)。可以通过了解物体的深度以及对场景成像的相机之间的基线来校正由视差引起的移位。当假定所有物体都处于同一平面上时，对准误差会导致物体不在位于该平面上。Wilburn等人的论文提出通过使用空间上相邻的相机顺序地捕获图像数据来最小化对准误差。以这种方式，最大对准误差被限制。

Wilburn等人论文中描述的相机阵列使用具有电子卷帘快门的廉价CMOS传感器。全局快门同时开始和停止传感器中每个像素的光集成。然后使用采样和保持电路实现顺序读出。电子卷帘快门在读出之前曝光每一行，这消除了对采样和保持电路的需要。Wilburn等人的论文指出将具有卷帘快门的传感器用于高速视频捕获的缺点是卷帘快门可能会使快速移动的物体的形状发生扭曲。实际上，靠近帧底部的像素几乎比帧顶部的像素晚一帧开始和停止光集成。

发明内容

根据本发明的实施方案的系统和方法使用阵列相机执行高速视频捕获和深度估计。需要一种在使用阵列相机执行高速视频捕获时估计深度的系统，以减小由位于场景中不同深度的物体所产生的对准误差。可以容易地理解，真实世界场景通常包括位于距相机不同距离的物体。因此，在通过相机阵列捕获视频期间进行深度估计可使从真实世界场景中捕获的图像数据得以呈现为更加流畅的视频。根据本发明的实施方案的阵列相机可结合具有全局快门和/或具有卷帘快门的传感器。用于估计深度和呈现高帧频视频序列的特定技术通常取决于阵列中相机的数量、类型和快门速度。另外，当通过组装独立相机模块形成阵列时，与在具有公共读出(从基板上的独立子阵列)的单个公共基板上形成的阵列相比，读出期间相机之间的相对卷帘快门可最小化。这种类型的阵列结构可以进一步最小化对准误差。