[发明专利]一种多通道空时编码孔径的动态光场成像方法和成像系统

说明书

技术领域

本发明涉及立体视像中的光场成像技术，特别是指一种多通道空时编码孔径的动态光场成像方法和成像系统。 

背景技术

立体视像作为全球下一代数字影视和数字娱乐行业的核心支柱，逐渐形成了以三维影像/立体视频为基础的新产业增长点和新产业链。三维实景捕获为三维模型绘制和立体显示提供三维内容支撑，是整个产业链中必不可少的前端和基础环节。 

近年发展起来的光场成像技术可获取传统成像模型无法捕获的场景几何等额外信息。这一特性有效扩展了成像应用的能力，通过结合成像几何模型，避免了传统视觉计算模型中的病态性逆问题求解。为三维信息采集和处理开辟了新的理论框架和途径。但是，目前这方面的技术还处于理论探索和实验室原型的初期阶段，面临着诸多挑战。 

长期以来，以Marr视觉理论为核心的视觉计算理论体系一直是以传统的光学积分成像模型作为信息获取的唯一方式，取得了大量令人瞩目的研究成果。然而传统成像模型只是简单地将三维场景投影到二维图像，在光积分期间不可避免地丢失场景几何和深度等重要信息，使得传统的视觉研究往往面临着从二维图像恢复三维信息的病态逆问题求解，难以有效解决其一般性、鲁棒性和实时性等问题。 

随着计算摄影学在近年来取得的突破性进展，光场成像作为一种广义光学信息采集的新技术，通过捕获额外的光场信息，可获得传统成像模型无法捕获的场景几何等额外信息，为视觉信息采集和处理开辟了革新性的理论框架和途径。 

光场捕获的最直接方法是采用像机阵列或单像机运动。美国斯坦福大学M. Levoy在1996年构建了由128个像机组成的4维光场采集平台[1]。美国南加州大学P. Debevec在2000年首次实现了用于人脸采集的4维静态变光照采集系统[2]，但该系统只能进行固定视角的静态采集。2005年A. Wenger和P. Debevec针对前系统的缺点，采用156个LED灯和一台12bit的CMOS高速像机，将高速变化的动态光场和高速像机相结合，实现变光照条件下动态人脸采集[3]。2006年P. Einarsson和P. Debevec采用像机阵列代替高速像机，实现了普通像机阵列在变光照条件下的动态人体采集[4]。该系统将14维的反射场函数降维到7维函数处理。此外，美国麻省理工W. Matusik[5]，英国莎里大学J. Starck[6]等也都提出了多像机光场采集系统。然而这类方法的主要局限在于系统体积庞大，有效采集范围有限；此外需要完成复杂的颜色和几何标定，以及多像机间的严格同步等步骤；同时还面临着海量数据压缩和有限带宽传输等方面的挑战。 

为克服像机阵列或单像机运动方法的局限性，美国麻省理工E.H. Adelson首次提出了全光像机[7]的概念，并在2005年由美国斯坦福大学R. Ng[8]进一步完善。该方法在传统像机的成像平面处插入微透镜阵列，用以记录入射光的辐射角分布，并通过一个额外的中继透镜传递到光电传感器上实现4维光场成像。其核心思想在于以微透镜阵列取代像机阵列，以牺牲成像空间分辨率换取辐射角分辨率，因而不可避免地存在空间分辨率低的缺陷，且微透镜间微小的基线长度及衍射导致深度分辨率降低。近期T. Georgiev等人采用超分辨率重建技术实现具有较高空间分辨率的Plenoptic 2.0全光像机[9, 10]。J.P. Luke又在T. Georgiev等人的基础上，提出一种基于多视点深度估计的超分辨率焦点栈变换技术[11]，在提高最终图像的空间分辨率的同时，可获得超分辨率深度图和全焦距图像。虽然全光像机在近年来取得了显著进展，但空间和深度分辨率仍然较低，难以达到百万级像素的分辨率，并且全光像机无法实现传统二维图像拍摄。