[发明专利]用于获取场景的4D光场的设备和方法

说明书

技术领域

本发明总体上涉及图像处理和计算式摄影(computational photography)，更具体地涉及用相机获取场景的4D光场。

背景技术

图像处理和计算式摄影的趋势是在获取图像时获取额外的光学信 息。这使得能够进行更多的获取后图像处理应用，例如去模糊、重聚焦 和新图像。

关键理念是获取经由镜头进入相机并入射在相机传感器上的整个 4D光场。光场是描述了通过空间中的每个点在每个方向上穿过的光量的 函数，参见由Moon等人翻译的“The Light Field”，Gershun，Journal of Mathematics and Physics，Vol.XVIII，MIT，1939，pp.51-151，1939。在常规 相机中，感测出的2D图像只是4D光场的2D投影。因此，不可能重构 出整个4D光场。因此，可以对常规图像进行有意义的改变的方式非常有 限。

通过利用光学元件的复杂布置，例如，多个透镜、反射镜、分束器 和/或传感器，可以使用2D传感器重新组合(re-bin)并获取4D射线， 参见Georgiev et al.，“Spatio-angular resolution trade-offs in integral photography”，EGSR，pp.263-272，2006。目前存在一种以多个光路来执 行光场的两个平面参数化的光学实施的透镜阵列，参见Levoy et al.， “Light field rendering”，SIGGRAPH 96，pp.31-42，1996和Gortler et al.， “The lumigraph”，SIGGRAPH，pp.43-54，1996。然而，光线的光学重新 组合通过透镜阵列在空间分辨率与角度分辨率之间强加了固定且永久的 折衷。

光场获取：积分(integral)摄像

大约在一个世纪以前，最先将光场获取描述为“撤销(undo)”到达 4D胶片或传感器平面上一点的所有光线的方向积分，而不是单独测量每 个进入方向从而估计整个4D光场函数。Okano et al.，“Three dimensional video system based on integral photography”，Optical Engineering 38，pp. 1072-1077，1999中描述了最初的积分相机及其变型的综览。

Levoy等和Gortler等将4D光场的概念描述为自由空间中所有光线 的表示。虽然都是从虚拟观点出发而创建的图像，但是Levoy等也描述 了通过虚拟孔径获得的计算式图像。然而，直到Isaksen et al.， “Dynamically reparameterized light fields”，SIGGRAPH，pp.297-306，2000 中对4D插入和滤波进行全面研究之后，才论证了计算这种图像的实际方 法。类似方法也被称为合成孔径摄像，Varish et al.，“Using plane+parallax for calibrating dense camera arrays”，Proc.Conf.Computer Vision and Pattern Recognition，pp.2-9，2004。

为了通过2D传感器来获取4D光场，最经常使用的是以下两种技术。 第一种技术使用透镜阵列来从视点网格(grid of viewpoint)获取场景的 光场。在每个透镜之后形成的图像提供了角度样本的有序网格，从而提 供了与积分摄像类似的结果。除了固定透镜阵列，也可以使用单个相机 的光学等效配置。其中，借助于棱镜在常规相机前方放置凸透镜阵列。

第二种技术在微镜阵列前方放置单个大透镜并将每个微镜都视为空 间样本。那些全视相机在微镜阵列上形成了图像，每个全视相机都生成 了对该点的辐射角度分布进行采样的图像。该技术使空间样本和角度样 本在图像平面上的放置互换。

以上两种技术都是用空间分辨率来交换分辨角度差异的能力。它们 要求微镜和光路相对于传感器非常精确的对准。显然，这些技术不适于 只有透镜、孔径和传感器的简单常规(数字)相机。

编码成像