[发明专利]跨尺度分辨率的光场图像超分辨率及深度估计方法及装置

说明书

本发明公开了一种跨尺度分辨率的光场图像超分辨率及深度估计方法及装置，其中，方法包括：通过单张图像超分辨率SISR方法进行上采样；将位于中间视角的高分辨率图像下采样后，利用SISR方法进行上采样，并获取误差图；获取视差图并利用光场固有属性对视差图进行全局优化，同时进行补洞操作，使得视差图估计无法估计到的区域进行重新估计；利用全局视差图对误差图进行传递，使得图像恢复高分辨率信息，以实现光场的超分辨率重建；根据超分辨率后的光场图像进行场景的深度估计，获取深度估计结果。该方法可以利用全局视差图对误差图进行传递，使得图像恢复高分辨率信息，以通过高分辨光场获取场景深度信息，并且提高鲁棒性，计算速度快。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种跨尺度分辨率的光场图像超分辨率及深度估计方法及装置。

背景技术

光场成像为记录场景三维信息的一种全新手段。与传统成像方式不同，光场不仅可以记录光线在某个位置上的强度信息，还可记录这个位置上来自某一角度范围的光线分布情况，因此有两维平面成像转变为四维光场成像，包括两个空间维度和两个角度维度。

然而，由于光场中传感器的限制，空间和角度分辨率相互制约，例如，商业光场相机，它由多个微型镜头阵列组成，携带方便，但其空间分辨率很低，难以满足需求；另一种方式是多相机阵列，但是这种实现方法造价昂贵，体积庞大，有待解决。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种跨尺度分辨率的光场图像超分辨率及深度估计方法，该方法可以具有很强的鲁棒性，且计算速度快。

本发明的另一个目的在于提出一种跨尺度分辨率的光场图像超分辨率及深度估计装置。

为达到上述目的，本发明一方面实施例提出了一种跨尺度分辨率的光场图像超分辨率及深度估计方法，包括以下步骤：通过SISR(single image super-resolution，单张图像超分辨率)方法对位于低分辨率视角的光场图像进行上采样；将位于中间视角的高分辨率图像下采样后，利用所述SISR方法进行上采样，并获取误差图；获取光场中所述高分辨率图像与上采样后的图像的视差图并利用光场固有属性对视差图进行全局优化，同时进行补洞操作，使得所述视差图估计无法估计到的区域进行重新估计；利用全局视差图对所述误差图进行传递，使得图像恢复高分辨率信息，以实现光场的超分辨率重建；根据所述超分辨率后的光场图像进行场景的深度估计，获取深度估计结果。

本发明实施例的跨尺度分辨率的光场图像超分辨率及深度估计方法，可以在大幅减少设备开销的条件下，重建高分辨率的光场成像，从而获得高空间分辨率的光场，以通过高分辨光场获取场景深度信息，并且具有很强的鲁棒性，计算速度快，避免光场中遮挡因素造成的部分区域估计不准，并加入全局优化过程，准确计算光场视差图。

另外，根据本发明上述实施例的跨尺度分辨率的光场图像超分辨率及深度估计方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：利用位于中心视角的高分辨率图像对所述SISR方法丢失的高频细节部分进行推断。

进一步地，在本发明的一个实施例中，所述获取光场中所述高分辨率图像与上采样后的图像的视差图并利用光场固有属性对视差图进行全局优化，进一步包括：通过十字模型估算方法得到光场中心位置与任意位置视差图；通过全局优化过程得到所述视差图，以避免所述光场中遮挡因素造成的部分区域估计误差。

进一步地，在本发明的一个实施例中，所述进行补洞操作，进一步包括：

利用孔洞周边邻域信息对孔洞进行补充，补充公式为：