[发明专利]用于改进的光场捕获和操作的光学系统的优化

说明书

相关申请交叉引用

本申请要求于2012年5月9日申请的名称为“Optimization of Optical Systems for Improved Light Field Capture and Manipulation(律师案号LYT064-PROV)”的美国临时申请序号61/644,851的优先权，其公开内容通过引用被全部并入本文中。

本申请涉及于2011年2月15日申请的名称为“3D Light Field Cameras，Images and Files，and Methods of Using，Operating，Processing and Viewing Same(律师案号LYT3006)”的序号13/027,946的美国专利申请，其公开内容通过引用被全部并入本文中。

技术领域

本发明涉及用于优化光学系统的系统和方法，以用于改进光场图像数据的捕获和操作。

背景技术

光场捕获装置(比方说例如光场照相机和摄影机)可以用来捕获及可选地处理光场图像数据。一些光场捕获装置还可以接受用户输入并在用户输入时动作，显示或以其它方式输出图像和/或其它类型的数据。光场捕获装置可以包括用来捕获光场图像数据的各种各样的不同的光学组件，包括传感器(诸如CCD或CMOS传感器)、微透镜阵列、主透镜和/或透镜阵列。

光场捕获装置可以使用任何适当的捕获方法来捕获光场图像数据。这种方法的一个示例包括但不限于如Ng等人在“用手持全光捕获装置的光场摄影(Light field photography with a hand-held plenoptic capture device，Technical Report CSTR 2005-02，Stanford Computer Science)”中描述的在图像传感器(例如，CCD或CMOS传感器)之上使用微透镜阵列。其它示例包括使用多个独立控制的照相机，每个照相机有其自己的透镜和传感器，成像到单个共用传感器上的照相机的阵列，全光透镜和/或这些的任何组合。

在许多环境中，光场捕获装置捕获形式为高度调制的4D数据的光场图像数据，高度调制的4D数据然后可以处理以产生2D和/或3D输出图像，输出图像可以由用户查看。这种处理的示例可以包括(但不限于)产生重调焦距的图像、视差视图或角度改变的图像、全焦点或扩展景深(EDOF)图像、深度图、3D/立体图像和其任何组合。

光场图像数据的这种处理在计算资源、存储器带宽和/或功率需求方面可能是昂贵的。因此，在许多传统系统中，牺牲图像质量、处理时间、分辨率等等，以便利于光场捕获。因此，一方面，迫使用户在光场图像捕获的灵活性和能力之间权衡，另一方面，在高等级图像质量和分辨率之间权衡。

发明内容

根据本发明的各个实施例，光场捕获装置的光学系统被优化，以便改进光场图像数据的捕获。这种改进可以通过一个或多个尺度测量，包括(但不限于)图像质量、处理效率和产生的图像分辨率。根据各个实施例，多种方法、系统和算法中的任何一个可以应用，以便处理由光场捕获装置捕获的光场图像数据，所述光场捕获装置包括本文中列举的一个或多个光学系统优化。

根据各个实施例，光场捕获装置的光学系统被优化以产生更加便宜和/或易于处理的被捕获光场图像数据(静止的和视频)。例如，在至少一个实施例中，光学系统被优化以在使用更加便宜的处理方法时产生改进的质量或分辨率，所述处理方法的计算成本适合各种处理和/或资源约束。因此，光场照相机的光学系统可以被优化以降低大小和/或成本，和/或提高这种光学系统的质量。这些优化在处理能力和/或装置大小可能受限的环境中(比方说例如在诸如智能手机的移动装置的环境中)也许是特别有用的。

根据各个实施例，本发明可以单独地或以任何适当组合地包括以下组件或方面中的一个或多个：

●修改可以结合微透镜阵列使用以捕获光场图像数据的数字图像传感器的传感器读出能力，使得读出模式针对光场图像数据捕获被裁剪。具体地，通过合并(binning)或跳过像素来执行数据大小减小的读出模式被优化，以产生光场图像数据的较小退化。

●基于在传感器上形成的光场图像中的圆盘图案，修改传感器的彩色滤波阵列(CFA)栅格布局/图案；这可以包括例如如下文更加详细描述的基于其光场坐标逐像素地选择CFA色彩。

●如在下文更加详细定义的，以像素的光场坐标的函数改变像素属性，诸如曝光时间和像素增益。

●抖动微透镜阵列中传感器和/或微透镜上像素的位置。