[发明专利]用于编码和解码基于光场的图像的方法和装置及对应计算机程序产品

说明书

本公开总体上涉及一种用于预测属于从与场景关联的光场数据获得的视图矩阵(17)的视图(170)的至少一个像素块的方法。根据本公开，所述方法由处理器实现并且包括，对于所述像素块的要预测的至少一个像素：从所述视图矩阵(17)，获得所述要预测的至少一个像素所属于的至少一个对极平面图像(EPI)，在双向预测模式的集合中，从所述至少一个对极平面图像中邻近所述要预测的至少一个像素的先前重建像素的集合确定(52)至少一个最佳双向预测模式，通过使用所述至少一个最佳双向预测模式外推(53)所述要预测的像素的预测值。

技术领域

本公开涉及光场成像，并且涉及用于采集和处理光场数据的技术。更确切地说，本公开总体上涉及用于编码和解码基于光场的图像的方法和装置，并且在图像或视频编码/解码领域中得到应用。

背景技术

该部分旨在向读者介绍可能与以下描述和/或要求保护的本发明的各个方面相关的技术的各个方面。相信该讨论有助于向读者提供背景信息以便于更好地理解本发明的各个方面。因此，应当理解的是，这些陈述应当就此而言被理解，而不是对现有技术的承认。

常规的图像捕捉装置将三维场景绘制到二维传感器上。在操作期间，常规捕捉装置捕捉表示到达装置内的光传感器(或光检测器)的光量的二维(2-D)图像。然而，该2-D图像不包含关于到达光传感器的光线的方向分布(可以称为光场)的信息。例如，深度在采集期间会丢失。因此，常规的捕捉装置不存储关于来自场景的光分布的大部分信息。

光场捕捉装置(也称为“光场数据采集装置”)已被设计成通过捕捉来自该场景的不同视点的光而测量场景的四维(4D)光场。因此，通过测量沿着与光传感器相交的每个光束传播的光量，这些装置可以捕捉附加的光学信息(关于光线束的方向分布的信息)，以便通过后处理提供新的成像应用。由光场捕捉装置采集/获得的信息被称为光场数据。光场捕捉装置在本文中定义为能够捕捉光场数据的任何装置。有几种类型的光场捕捉装置，其中：

-全光装置，其使用放置在图像传感器和主透镜之间的微透镜阵列，如文献US2013/0222633中所述；

-相机阵列，其中所有相机成像到单个共享的图像传感器上。

光场数据也可以利用计算机生成图像(CGI)，从均通过使用常规手持相机从不同视点拍摄的场景的一系列2-D图像进行模拟。

光场数据处理尤其包括但不限于生成场景的重新聚焦图像，生成场景的透视图，生成场景的深度图，生成景深扩展(EDOF)图像，生成立体图像，和/或这些的任何组合。

更确切地说，本公开集中于由以下公开的如图1所示的全光装置捕捉的基于光场的图像：R.Ng等人，“Light field photography with a hand-held plenoptic camera”，Standford University Computer Science Technical Report CSTR 2005-02，第11期(2005年4月)。

这样的全光装置由主透镜(11)，微透镜阵列(12)和光传感器(13)组成。更确切地说，凸透镜将对象聚焦到微透镜阵列上(或附近)。微透镜阵列(12)将会聚光线分离成在其后面的光传感器(13)上的图像。

微图像(14)是在微透镜阵列(12)的所考虑的微透镜后面的光传感器上形成的图像，如由http://www.tgeorgiev.net/公开的图2所示，其中左侧的图像对应于原始数据，而右侧的图像对应于特别表示海鸥头部的微图像的细节。微图像的分辨率和数量取决于微透镜相对于传感器的尺寸。更确切地说，微图像分辨率根据装置和应用(从2x2像素到约100x100像素)变化很大。