[发明专利]光场跨尺度的零次学习超分辨率方法

说明书

本发明公开了光场跨尺度的零次学习超分辨率方法，对输入的光场原始图像进行解码得到四维的光场矩阵；通过循环四维光场矩阵中的角度信息坐标提取u×v张不同角度的子孔径信息；在每一行子孔径图像中依次提取每幅图像相同高度的素点得到s幅光场EPI图像；光场EPI图像进行零次学习超分辨；超分辨以后的结果依次投影回原子孔径图像中的对应位置；通过步骤1‑6最终可以得到经过零次学习超分辨以后的光场子孔径图像，即代表了光场图像的不同视角。通过将零次学习与光场图像相结合，实现一种光场图像跨尺度超分辨的全新方法，为解决光场图像问题提供了一种新的思路，取得了不错的成果。

技术领域

本发明属于计算机数字图像处理技术领域，涉及光场跨尺度的零次学习超分辨率方法。

背景技术

在实际生活中，我们身边的物体和场景都是三维的。传统相机只能采集到空间光线的强度信息，丢失了光线的方向信息，从而损失了很多可利用信息，导致由传统相机拍摄得到的图像无法实现三维重建等效果。

近年来基于光场和计算机成像理论的光场相机成为研究的热点，因为光场相机在一次拍照中可以获取场景的四维特征数据：包括二维空间信息和二维角度信息，可以实现先拍照后聚焦的功能。由于在光场中获得的额外二维角度信息使得其可以得到广泛的应用，如合成孔径图像，重聚焦以及光场显微镜等。

光场成像的原理与传统相机成像原理在电子构件上有所差异，传统相机成像是光线穿过镜头而后传播到成像平面上；光场成像原理差异在于在传感器平面前增加一个微透镜阵列，将穿过主镜头的光线再次穿过每个微透镜，从而收获光线的方向与位置信息，使成像结果在后期具有更多的可调节性。然而全光场相机能够获得比传统相机更多的场景信息，是通过牺牲相机的空间分辨率换取角度分辨率来实现的。因此全光场相机需要平衡空间和角度分辨率之间的关系，目前来说，提高全光场相机主要有两种方法：一是提高全光场相机的硬件配置，即提高微透镜阵列的数量，这样可以记录来自更多方向的光线信息。二是利用计算机图像处理的算法来提高分辨率。由于提高硬件配置在实施方面难度大，成本高，因此我们更多的选择使用计算机图像处理的算法来提高全光场相机的空间分辨率和角度分辨率。

传统的深度学习超分辨是通过预先搭建好的网络结构，输入大量的训练数据，通过长时间的训练得到期望的模型，再利用该模型对输入的测试图像进行超分辨率重建，最终得到期望的图像。而零次学习超分辨方法不依赖任何其他样本图片和预先训练，使用图像内部相似信息，在重建一张高分辨率图像LR时，对输入图像LR进行降采样，通过一个小型的CNN网络学习二者之间的超分辨参数，最终利用超分辨率参数对图像LR完成重建，得到最终结果。

发明内容

本发明的目的是提供一种光场跨尺度的零次学习超分辨率方法，在不改变全光场相机的硬件配置的前提下，通过使用跨尺度的零次学习超分辨方法实现光场图像超分辨率重建，解决了图像处理技术领域硬件配置实施难度大，成本高的问题。

本发明所采用的技术方案是，光场跨尺度的零次学习超分辨率方法，具体包括如下步骤：

步骤1：将光场原始图像，光场白图像以及相机参数依次读入计算机软件MATLAB中；

步骤2、对输入的光场原始图像进行解码得到四维光场矩阵；

步骤3、通过循环四维光场矩阵中的角度信息[u,v]坐标提取u×v张不同角度信息的子孔径图像；

步骤4、对u行v列子孔径图像依次进行以下操作：从第一行子孔径图像开始循环，在每一行子孔径图像中依次提取每幅图像相同高度的像素点得到s幅光场EPI图像；

步骤5、对步骤4中得到的光场EPI图像进行零次学习超分辨；

步骤6、将步骤5中超分辨以后的结果依次投影回原子孔径图像中的对应位置；

步骤7、通过步骤1-6最终可以得到经过零次学习超分辨以后的光场子孔径图像，即代表了光场图像的不同视角。