[发明专利]利用零样本学习的光场超分辨率增强方法

权利要求书

1.一种利用零样本学习的光场超分辨率增强方法，其特征在于，包括：设置预上采样处理单元、面向对齐的视差估计网络与多视角融合网络；其中，所述预上采样处理单元，用于执行预上采样任务；所述面向对齐的视差估计网络，用于执行多视角对齐子任务；所述多视角融合网络，用于执行多视角信息融合子任务；

对于输入的低分辨率光场图像通过预上采样处理单元的处理，再通过面向对齐的视差估计网络得到对齐到中心视角的光场图像，最后结合多视角融合网络，得到超分辨率增强后的中心视角图像；其中，低分辨率与高分辨率是用于描述分辨率逐渐提升的相对概念，两类分辨率大小的相差α倍，α为设定的超分辨率倍数。

2.根据权利要求1所述的一种利用零样本学习的光场超分辨率增强方法，其特征在于，在没有源数据集时，采用三阶段的训练方式；训练之前，先制作训练数据集，方式如下：对输入的低分辨率光场图像Z^LR进行下采样，得到超低分辨率光场图像Z^LLR，随机选取低分辨率光场图像中的空间位置并裁剪出四维光场图像块，并从超低分辨率光场图像相应位置裁剪出对应四维光场图像块，两类四维光场图像块组成图像块对对四维图像块对进行数据扩增构成训练数据；其中，超低分辨率与低分辨率是用于描述分辨率逐渐提升的相对概念，两类分辨率大小的相差α倍；之后，通过预上采样处理单元对四维光场图像块进行预上采样处理，再执行下述三阶段训练方案：

首先，通过面向对齐的视差估计网络，根据四维光场图像块的平面特征估计相应的视差图，并进行插值得到高分辨率视差图，再结合预上采样处理结果，得到对齐到中心视角的光场图像，将低分辨率光场图像、超低分辨率光场图像对应四维光场图像块经过处理得到的对齐到中心视角的光场图像各自记为利用与相应的预处理结果计算面向对齐的视差估计网络的损失函数，从而训练所述面向对齐的视差估计网络；

然后，将与分别送入多视角融合网络，根据输出结果计算多视角融合网络的损失函数，从而训练所述多视角融合网络；

最后，联合所有损失函数并进行加权，从而联合训练所述面向对齐的视差估计网络与多视角融合网络。

3.根据权利要求1所述的一种利用零样本学习的光场超分辨率增强方法，其特征在于，在有源数据集时，先使用源数据集做预训练：首先对源数据集中的每一张高分辨率光场图像Z^HR，通过双三次下采样得到对应的低分辨率光场Z^LR，随机选取高分辨率光场图像中的空间位置并裁剪出四维光场图像块，并从低分辨率光场图像相应位置裁剪出对应四维光场图像块，两类四维光场图像块组成图像块对，之后对四维图像块对进行数据扩增构成训练数据，随后，使用以低分辨率光场图像块作为输入得到的超分辨率结果与高分辨率目标视角的图像的平均绝对误差作为损失进行训练；

在预训练结束之后，利用输入的低分辨率光场图像Z^LR，采用误差引导的参数精调算法对预训练好得到的参数集做进一步的精调，首先，利用低分辨率输入光场图像Z^LR制作训练数据集，并通过预上采样处理单元进行处理；即，对输入的低分辨率光场图像Z^LR进行下采样，得到超低分辨率光场图像Z^LLR，构成光场图像对{Z^LLR,Z^LR}，再通过向使用源数据集预训练好的网络输入低分辨率光场图像或超低分辨率光场图像，按照输出结果与真实值之间的误差进行有选择性的图像块裁剪，用于面向对齐的视差估计网络与多视角融合网络的精调，其中，超低分辨率与低分辨率是用于描述分辨率逐渐提升的相对概念，两类分辨率大小的相差α倍。