[发明专利]对数字光场图像编码和解码的方法和设备

说明书

本发明公开了一种对原始的微小透镜图像(f)编码的方法，所述方法包括接收阶段(705)，其中接收原始的微小透镜图像(f)的至少一部分，所述图像(f)包括多个宏像素(650、1320、1340)，每个宏像素(650、1320、1340)包括与场景同一点的特定视角相对应的像素；输出阶段，其中，输出包括被编码的微小透镜图像(f)的至少一部分的比特流(f_d^)。所述方法包括图像变换阶段(710)，其中，所述原始的微小透镜图像(f)的像素在相对于所接收的原始的微小透镜图像具有更多列和更多行的变换多色图像(660)中被空间移位，其中具有未限定值的虚拟像素(610、620)被插入到所述原始的微小透镜图像(f)中，并且其中，执行所述移位，以便将每个宏像素(650、1320、1340)的估计中心位置置于整数像素位置。而且，方法还包括子视图生成阶段，其中，生成子视图系列(f_d’)，所述子视图(1310、1510、1620)包括从变换后的原始的微小透镜图像(f)的不同的宏像素(650、1320、1340)提取的相同角度坐标的像素。最后，方法包括图形编码阶段，其中，通过根据预定的图形信号处理(GSP)技术，对所述系列(f_d’)的子视图(1310、1510、1620)中的至少一个的图形表示进行编码，从而生成比特流(f_d^)。所述输出阶段包括输出被图形编码的比特流(f_d^)，以用于其传输和/或存储。

技术领域

本发明涉及一种用于对数字图像编码和/或解码的方法和设备。特别地，用于对由所谓的光场相机提供的数字图像编码和/或解码。

背景技术

在操作过程中，常规的数字相机会捕获表示投射到相机内光电传感器上每个点的总光量的二维(2D)图像。但是，此2D图像不包含有关投射到光电传感器的光的方向分布的信息。

相比之下，光场相机对四维(4D)光学相空间或光场进行采样，这样做可捕获有关光线方向分布的信息。像素处的方向信息对应于光圈处的位置信息。

由光场相机捕获的该信息可以被称为光场、全光功能或辐射。

在计算摄影中，光场是3D中所有光线的4D记录。辐射描述空间和角度信息，并定义为每单位立体角(以弧度为单位)、每单位面积的能量密度。

光场相机捕获辐射，因此可以进行不同的后处理，例如：重新聚焦、降噪、3D视图构造和景深修改，此外，它还具有广泛的应用，包括3D TV和医学成像。

可以用常规相机捕获光场。在一种常规方法中，利用常规相机，从不同位置捕获场景的M×N个图像。例如，如果从64个不同位置捕获了8×8个图像，则会产生64个图像。拍摄每个图像中每个位置(i，j)的像素并将该像素放入块中，以生成64个块。

图1(a)示出了示例性的现有技术的光场相机100或相机阵列，其采用两个或多个物镜110的阵列。每个物镜聚焦在光电传感器140的特定区域上。该光场相机100可以被视为两个或多个常规相机的组合，每个相机同时将对象的图像记录在光电传感器140的特定区域上。然后，可以将捕获的图像组合以形成一个图像。

图1(b)示出了示例性的现有技术的全光相机150，另一种类型的光场相机，其采用单个主物镜160和微透镜或微小透镜阵列170，该微透镜或微小透镜阵列170包括例如大约100，000个微小透镜。

通常将微小透镜阵列170放置在距离光电传感器180很小的距离(～0.5mm)处，该传感器可以是例如电荷耦合装置(CCD)。通过微透镜阵列170，3D场景的每个点都投影到一组像素(称为宏像素)，而不是传统2D图像中的单个像素。宏像素内的每个像素对应于场景同一点的特定视角。

图2示出了由全光相机150捕获的图像(也称为微小透镜图像(图2(a)))的示例，其由宏像素阵列(图2(b))组成，宏像素阵列通常为六边形或圆形(图2(c))。微小透镜阵列170使全光相机150能够捕获光场，即不仅记录图像强度，而且还记录每个点处、在不同方向上的强度分布。