[发明专利]一种基于零样本学习的光场图像角域超分辨系统及方法

说明书

本发明公开了一种基于零样本学习的光场图像角域超分辨系统及方法，由光场图像采集模块、数据预处理模块、网络训练模块、光场图像超分辨模块和数据存储模块。本发明采用零样本学习思想解决光场图像角域超分辨问题，针对不同光场图像特点自适应地实现光场图像角域超分辨功能。

技术领域

本发明属于图像技术领域，具体涉及一种基于零样本学习的光场图像角域超分辨系统及方法。

背景技术

传统相机只能采集到场景的光线强度信息，丢失了光线的方向信息，因此无法获取场景的三维结构信息。传统相机迫使计算机只能通过二维的影像观察三维的世界，给许多视觉应用带来了瓶颈。与传统相机相比，光场相机可以同时采集场景的二维空间域和二维角域信息，利用丰富的角域信息可以获取物体的深度信息和材质信息，为场景理解、虚拟现实等应用提供新的机遇，成为成像领域新的研究热点。

获取光场的途径主要有相机阵列和微透镜阵列两种方式。相机阵列由同一平面内水平和垂直等距安装的若干普通相机组成，可以同步拍摄不同视角的场景图像，获取的光场图像空间域分辨率较高而角域分辨率较低。基于微透镜阵列的光场相机在主透镜和传感器间安装了微透镜阵列，使得传感器可以同时记录光线的强度和方向信息，但是有限的传感器分辨率使光场图像的角域和空间域分辨率互相制约，获取的角域和空间域分辨率都不高。为了解决光场成像设备普遍存在的角域分辨率不足的问题，充分利用光场多视角信息的优势，光场角域超分辨技术受到了很多研究者的关注。

Pujades等人结合了启发式方法和贝叶斯模型提出了一个基于物理的生成模型以及相关的最大化后验估计。该方法提出的贝叶斯模型在场景结构信息的估计足够准确的情况下能够显著提高新视角图像的质量。Nima等人基于学习的方法从一系列在角域领域稀疏抽样视角图像中仿真得到新的视角图像。该方法基于已有的视角仿真技术，将处理过程分为视差估计和颜色估计两部分，使用两个卷积神经网络来对两部分进行建模，并且通过最小化仿真视角和真实视角图像的差对两个网络同时进行训练。Yoon等人利用两个卷积神经网络模型，分别进行空间域和角域超分辨。第一个网络模型提升所有视角的空间域分辨率，第一个模型的输出结果作为第二个角域超分辨模型输入，生成新视角图像。通过两个卷积神经网络模型同时提升光场图像角域和空间域分辨率。

综上所述，基于场景结构信息的角域超分辨方法受制于目前场景结构信息估计算法精度不足的影响，角域超分辨光场图像的质量瓶颈难于突破。基于外部监督学习的角域超分辨方法，需要依赖于大量的光场训练数据支撑，从外部数据中学习光场图像超分辨统计规律。受制于目前有限的光场数据集和外部监督学习算法对特殊场景光场图像失效的影响，不能适应不同场景的缺点。

发明内容

本发明技术解决问题：与普通图像相比，可获取的光场图像数据集十分有限。但是基于外部监督学习的角域超分辨方法，需要依赖于大量的光场训练数据支撑，从外部数据中学习光场图像超分辨统计规律，并且外部监督学习算法对特殊场景图像失效，不能适应不同场景特点。为了克服现有技术不足，本发明提供一种基于零样本学习的光场图像角域超分辨方法，提高超分辨算法的鲁棒性。

本发明采用如下的技术方案：本发明采用了自监督学习思想，提出一种基于零样本学习的光场图像角域超分辨系统及方法，为每一个待超分辨光场图像获取特定网络模型，使网络模型适应不同场景特点。不仅克服超分辨算法对庞大数据量的依赖，还增加了算法对不同待超分辨光场图像的适应性。系统包括：光场图像采集模块、数据预处理模块、网络训练模块、光场图像超分辨模块和数据存储模块；其中：

光场图像采集模块：负责采集待超分辨光场图像；该模块由包含M*N个分布在规则网格上且镜头光轴平行排列的相机组成相机阵列，根据用户设置的场景位置，对M行N列的相机阵列进行同步曝光控制，获取角域分辨率为M*N的待超分辨光场图像L^d，第i行j列相机获取的视角图像为V^i，j，规格网格上拍摄的同一场景各个视角图像之间存在关联性和图像信息重复性；M≥3，N≥3，1≤i≥M，1≤j≥N；