[发明专利]一种基于Encoder‑Decoder深度学习模型的单透镜空间变化图像复原方法

说明书

技术领域

本发明涉及一种图像复原领域，具体指一种基于Encoder-Decoder深度学习模型的单透镜空间变化图像复原方法。

背景技术

单透镜计算成像是计算摄影领域一个新的研究方向，前端镜头只包含一个镜片，由镜片像差和色差所导致的图像模糊通过后期图像复原算法进行消除。单透镜计算成像成本低、体积小，在图像复原和光学设计领域都具有重要的研究价值。单透镜计算成像的难点在于前端光学成像的结构过于简单，只有一个镜片，由于没有其他光学校正结构，这个镜片的像差和色差都会出现在所拍摄的图像中，而且受镜片球面结构的影响，像差和色差随像素坐标位置的变化很大，即单透镜拍摄图像的模糊是空间变化的。这些特点都给后期图像处理算法增加了难度。

目前单透镜计算成像的主要方法是由盲卷积图像复原直接得到清晰图像，或者首先估计出单透镜的模糊核，即点扩散函数PSF(Point Spread Function)，然后再利用非盲卷积图像复原方法得到清晰图像。专利ZL.201510054784.0公开了一种基于组合模糊核结构先验的单透镜计算成像方法，通过分析单透镜模糊核的结构特点，在估计空间变化的模糊核时，不同区域采用不同的模糊核先验，以提高单透镜模糊核的估计精度，便于后续图像处理。现有方法存在的主要缺点在于：(1)单透镜成像的像差和色差都比较严重，现有的图像处理方法不能很好地同时校正像差和色差，估计的PSF只包含像差导致的模糊信息，如果色差程度较大，需要首先校正像差导致的模糊，然后再单独处理色差所导致的图像纹理边缘处的颜色错乱，想要得到理想的图像复原质量，整个处理过程比较复杂；(2)无论是盲卷积还是非盲卷积图像复原方法都需要大量迭代优化过程，图像处理计算时间长；(3)单透镜拍摄的模糊图像需要采用空间变化的方法进行处理，因为估计PSF也需要大量迭代优化过程，则估计多个空间变化的PSF，以及利用空间变化的PSF进行后续图像复原处理都需要很大的计算和计算时间，从而导致单透镜计算成像不便在实际中应用。因此，设计快速有效的单透镜图像复原方法，是单透镜计算成像急需解决的问题。

发明内容

本发明为克服上述情况不足，旨在提供一种基于Encoder-Decoder(编码-解码)深度学习模型的单透镜空间变化图像复原方法，无需单独进行PSF估计，避免现有单透镜计算成像方法中复杂的迭代优化过程，并且同时解决单透镜计算成像过程中像差校正与色差校正的问题，实现端到端的单透镜的快速图像复原。

一种基于Encoder-Decoder深度学习模型的单透镜空间变化图像复原方法，其特征在于，包括以下步骤：

步骤一：得到单透镜对应的清晰图像与模糊图像对；

所述步骤一中得到单透镜对应的清晰图像与模糊图像对的具体方法包括如下步骤：

步骤1.1：将棋盘格图像在电脑屏幕上全屏显示，用单透镜拍摄电脑屏幕，得到拍摄的棋盘格图像；

步骤1.2：将一张清晰图像在电脑屏幕上全屏显示，用单透镜拍摄电脑屏幕，得到拍摄的模糊图像；

步骤1.3：基于步骤1.1拍摄的棋盘格图像，采用角点检测方法，将步骤1.2中使用的清晰图像映射到拍摄的模糊图像中对应的位置，并经过适当裁剪得到精准匹配的单透镜的清晰图像与模糊图像对；

步骤1.4：准备K张不同的清晰图像，依次重复上述步骤1.2和步骤1.3，得到K组精准匹配的单透镜清晰图像与模糊图像对。

步骤二：构建单透镜空间变化的数据集；

所述步骤二中构建单透镜空间变化数据集的具体方法是：将步骤1.4中得到的清晰图像与模糊图像对，同样分割成M×N个空间变化的图像块，相邻图像块之间边缘部分重叠50个像素，得到M×N个空间变化的单透镜数据集，数据集中包括模糊图像块和与其相对应的清晰图像块。

步骤三：构建用于端到端图像复原的Encoder-Decoder深度学习模型；

所述步骤三中的Encoder-Decoder深度学习模型的具体结构包括12层，输入层是模糊图像，输出层是对应的清晰图像，输入层与输出层之间是编码Encoder部分和解码Decoder部分，其中，Encoder部分包括五层卷积层C1、C2、C3、C4、C5，Decoder部分包括五层反卷积层D1、D2、D3、D4、D5，每层反卷积层需要调用对应卷积层的图像特征，不同层之间依靠关系权重矩阵W_i(i＝1...10)连接；Encoder-Decoder深度学习模型的其他基本网络参数可以参考现有的深度学习模型。