[发明专利]光场编码和解码的预测

说明书

预测在由I型全光相机的传感器捕获的子孔径图像的矩阵中属于当前子孔径图像的当前像素的分量可以涉及首先基于以下条件确定传感器上的位置：从相机的主透镜的出射光瞳到相机的微透镜阵列的距离；主透镜的焦距；微透镜阵列的微透镜的焦距；以及相机的模型的参数集，该参数集允许推导描述与传感器的像素对应的光线场的两平面参数化；并且其次，基于属于矩阵中的参考子孔径图像并且位于该位置近邻的传感器上的一个参考像素来预测分量。

技术领域

本公开一般而言涉及光场(Light Field，LF)视频编解码的领域。

更具体而言，本公开涉及一种用于预测属于由I型全光(plenoptic)相机捕获的子孔径图像的像素的分量的方法。

本公开例如在LF压缩和/或解压缩领域中可以是令人感兴趣的。

背景技术

一方面，视图综合预测(View Synthesis Prediction，VSP)已经被标准化为3D-HEVC扩展的一部分，用于多视图视频编解码。更具体而言，VSP包括使用深度信息将纹理数据从参考视图扭曲到当前视图，使得可以生成对当前视图的预测器(例如，参见S.Yea和A.Vetro的“用于多视图视频编解码的视图综合预测(View Synthesis Prediction forMultiview video coding)”，视频处理(Signal Processing)：图像通信(ImageCommunication)，第24卷，第1-2期，第89-100页，2009年1月)。

另一方面，LF数据包括：

-多视图视频，即，在从多个相机角度同时捕获属于图像矩阵的图像的视频中；或者

-全光视频，也称为基于小透镜的视频，即，在其中属于图像矩阵的图像是子孔径图像的视频中，这些子孔径图像是除了使用主透镜系统之外还使用透镜矩阵从单个相机同时捕获的。

VSP除其它外还假设用于捕获LF视频的相机的针孔模型。这阻止在LF视频编解码中实现高性能，特别是对于由不能忽略孔径的延伸的全光相机捕获的LF。

因此，需要一种用于预测由全光相机捕获的LF中的子孔径图像的像素的分量(例如，色度或亮度)的改进方法。

发明内容

本公开涉及一种用于预测在由I型全光相机的传感器捕获的子孔径图像的矩阵中属于当前子孔径图像的当前像素的分量的方法。该方法包括：

-至少基于以下条件确定传感器上的位置：

-从相机的主透镜的出射光瞳到相机的微透镜阵列的距离D；

-主透镜的焦距F；

-微透镜阵列的微透镜的焦距f；以及

-相机的模型的参数集，该参数集允许推导描述与传感器的像素对应的光线场的两平面参数化；

-基于属于矩阵中的参考子孔径图像并且位于该位置近邻的传感器上的至少一个参考像素来预测当前像素的分量。

本公开的另一方面涉及一种用于预测属于由I型全光相机的传感器捕获的子孔径图像的矩阵中的当前子孔径图像的当前像素的分量的设备。此类设备包括处理器，处理器被配置用于：

-至少基于以下条件确定传感器上的位置：

-从相机的主透镜(100l)的出射光瞳到相机的微透镜阵列(100mla)的距离D；

-主透镜的焦距F；

-微透镜阵列的微透镜的焦距f；以及

-相机的模型的参数集，该参数集允许推导描述与传感器的像素对应的光线场的两平面参数化；