[发明专利]用于利用深度信息的全视差压缩光场合成的方法

说明书

描述了一种用于合成压缩光场的创新性方法。压缩光场通常通过对光场视图进行再采样来生成。必须然后通过利用来自压缩光场的信息来在显示器处对经压制的视图进行合成。本发明描述了一种用于视图合成的方法，其利用场景的深度信息来重构缺失视图。一种与有效孔洞填充过程耦合的创新性视图合并方法补偿了深度未配准和不精确性，以产生用于全视差光场显示器的现实的合成视图。

相关申请的交叉引用

本申请要求2015年4月23日提交的编号为62/151,616的美国临时专利申请的权益。

背景技术

1. 发明领域

本发明一般涉及图像和视频合成，更特别地涉及用作用于光场3D成像系统的输入的光场图像数据的合成。术语“光场”描述了光的传输和调制，包括：方向、幅度、频率和相位，因此对利用了诸如全息摄影、积分成像、体视法、多视图成像、自由视点TV（FTV）等技术的成像系统进行了概述。

2. 现有技术

光场显示器对光的强度和方向进行调制以用于在不需要用于观看的专门眼镜的情况下重构场景的3D对象。为了达成这一点，光场显示器通常利用大量视图，其在3D处理链的采集阶段和传输阶段中提出了若干挑战。压缩是处理所涉及的海量数据大小的必需工具，并且通常而言系统在生成阶段对视图进行再采样以及在显示器处重构缺失视图。例如，在Yan等人的“Integral image compression based on optical characteristic”（Computer Vision，IET，Vol. 5，no. 3，第164、168页（2011年5月））以及Yan Piao等人的“Sub-sampling elemental images for integral imaging compression”（2010 International Conference on Audio Language and Image Processing（ICALIP），第1164、1168页（2010年11月23-25日））中，作者基于显示系统的光学特性执行对基本图像的再采样。可以在Jin-Xiang Chai等人的著作（2000）Plenoptic sampling（Proceedings ofthe 27^th annual conference on Computer graphics and interactive techniques（SIGGRAPH'00））以及Gilliam.C等人的“Adaptive plenoptic sampling”（2011 18th IEEE International Conference on Image Processing (ICIP)，第2581、 2584页 (2011年9月11-14日））中找到一种用于光场采样的更正式的方法。为了在显示器侧重构视图，可以从计算机图像方法到基于图像的渲染来使用若干不同的方法。